Результат интеллектуальной деятельности: Способ обработки результатов экспресс-тестирования знаний обучаемых

Изобретение относится к области технологий компьютерного тестирования при обучении и подготовке специалистов для различных отраслей знаний и специальностей.

В связи с развитием методов компьютерного обучения и автоматизации широкое применение получили процедуры оценки полученных знаний и навыков на основе разработки новых компьютерных тестов.

Известен способ контроля уровня получаемых знаний при дистанционном обучении (патент РФ на изобретение №2338264, МПК G09B 7/06, G06F 17/15, G06F 17/18, опубл. 10.11.2008), основанный на размещении на мониторе контрольного вопроса и вариантов ответа на данный вопрос, выборе одного, предпочтительного обучающемуся, варианта ответа при помощи перемещения курсора манипулятора к месту расположения его индикатора и последующего определения правильности ответа по конечному положению курсора. Причем после размещения на мониторе индикаторов вариантов ответов в интервале от момента начала движения курсора до момента фиксации его конечного положения формируют массив траекторных параметров его движения, определяют автокорреляционную функцию полученного массива траекторных параметров и определяют уровень уверенности обучающегося в полученных знаниях по положению максимума функции, при расположении которого в пределах заданной ошибки принятия решения в начале координат делается вывод о «правильной» (уверенной) или неуверенной мотивации ответа.

Недостатком известного способа являются заниженные функциональные возможности, так как конечное число вариантов ответов на экране монитора не исключает случайность правильного выбора.

Известен способ оценки знаний учащегося при компьютерном тестировании (Патент РФ №2640709, G09B 7/06, опубл. 11.01.2018., Бюл. №2).

В известном способе каждому из учащихся предъявляют тестовое задание, состоящее из вопроса и вариантов ответа на экране компьютера. При этом регистрируют момент времени начала просмотра текста вопроса и каждого варианта ответа, момент времени окончания просмотра текста вопроса и каждого варианта ответа, времени принятия решения о выборе варианта ответа с помощью манипулятора. Вычисляют интегральные показатели выполнения тестового задания, характеризующих последовательность и скорость просмотра вопроса и вариантов ответа, регистрацией связанных с событием потенциалов (ССП) во время просмотра текста варианта ответа. Выделяют позитивный компонент ССП Р300, который развивается в теменных отделах коры головного мозга, при наличии которого делают вывод о совпадении эндогенного образа, соответствующего правильному ответу на вопрос, с экзогенным образом, возникающим при чтении текста на экране компьютера. Классифицируют вид решения с помощью набора решающих правил на соответствие случайному угадыванию, списыванию, частичному знанию, неуверенному знанию или уверенному знанию.

Недостатком известного способа является техническая сложность его реализации, требующая наличие электроэнцефалографов на каждого учащегося (при одновременном тестировании), для регистрации электроэнцефалограммы, посредством которой распознают компонент ССП Р300.

Наиболее близким аналогом изобретения, принятым за прототип, является способ-экспресс тестирования знаний обучаемых (патент РФ №2564224, G09B 3/06, опубл. 27.09.2015., Бюл. №27), заключающийся в предъявлении тестируемым фиксированного множества вопросов и различных вариантов ответов на каждый вопрос. В анализе выбранных тестируемыми вариантов ответов и выводе итоговых оценок всем тестируемым предъявляется одинаковый набор вопросов. При этом ответы тестируемые заносят в стандартные бумажные бланки, причем под правильные варианты ответов на бумажном бланке рядом с номерами вопросов выделены несколько белых полей, обозначенные цифрами номера правильного ответа. Для обозначения десятков из номера тестируемого на бумажном бланке выделены десять белых поля, обозначенные цифрами от 0 до 9, десять белых полей для обозначения единиц из номера тестируемого, обозначенные цифрами от 0 до 9. Правильные варианты ответов и номер тестируемого отмечаются тестируемыми путем закрашивания соответствующих белых полей, правильные варианты ответов на вопросы, с учетом номеров вопросов. Номер тестируемого в общем списке тестируемых автоматически считываются оптическим методом, для автоматического определения позиции, ориентации и масштабирования бумажного бланка в оптическом считывателе на бланке присутствуют оптически считываемые графические метки, выполненные в виде трех черных кругов, которые расположены в двух верхних углах и в нижнем левом углу бумажных бланков. Оптическим методом определяется яркость каждого поля Ai, все яркости Ai выстраиваются по возрастанию значения яркости, получая новый массив Aij, где i - номер поля, j - номер в списке яркостей по возрастанию яркости, Aij<Ak(j+1). Определяется разность яркостей соседних полей dAj=Ai(j+1)-Akj, если существует разность dAj, которая вдвое больше всех остальных разностей, то данная разность разделяет закрашенные и незакрашенные поля, все поля Akj с данным j и меньшими значениями j закрашены, все поля Akj с большими j не закрашены.

Достоинством данного способа является то, что он обеспечивает быстрый опрос большой группы учащихся.

Недостатком данного способа является ограничение области его применения, связанное со сложностью ответов на вопросы, требующих предоставления развернутых текстовых ответов.

Задачей изобретения является создание способа, расширяющего область его применения, и позволяющего при сохранении возможности быстрого опроса большого числа обучаемых, использовать при тестировании вопросы, на которые требуется дать развернутые текстовые ответы.

Техническим результатом изобретения является частичная автоматизация обработки результатов тестирования разнородных вопросов, на которые требуется дать развернутые текстовые ответы.

Это достигается тем, способ обработки результатов экспресс-тестирования знаний обучаемых, заключающийся в том, что обучаемым предъявляют одинаковый набор вопросов, причем обучаемые заносят ответы в стандартные бумажные бланки, затем ответы на вопросы обучаемых автоматически считывают оптическим методом, анализируют и выводят итоговые оценки, отличается тем, что в предварительно подготовленных ответах, хранящихся в виде текстовых файлов в ЭВМ, выделяют значимые слова и словосочетания, которые наиболее полно характеризуют правильность ответа, затем формируют матрицу значимых слов и словосочетаний по всему набору вопросов, в которой строками являются номера вопросов, а столбцами количество значимых слов и словосочетаний, определяющих градацию оценки, при этом обучаемые заносят ответы в стандартные бумажные бланки в виде текстовых пояснений отдельно на каждый вопрос из предъявляемого им набора, считывают текстовые пояснения ответов на вопросы оптическим методом, затем считанные текстовые пояснения ответов обрабатывают, и в ходе обработки выявляют наличие значимых слов и словосочетаний в обработанных текстовых пояснениях ответов, соответствующих значимым словам и словосочетаниям из предварительно подготовленных ответов, при этом отдельно по каждому обучаемому формируют его матрицу ответа, строками которой являются номера вопроса, а столбцами - количество значимых слов и словосочетаний, выявленных в текстовом пояснении, причем поле каждой строки заштриховывают только в том столбце, который соответствует количеству значимых слов и словосочетаний, выявленных в текстовом пояснении, после чего анализируют сформированную матрицу ответа каждого из обучаемых путем ее сравнения с матрицей значимых слов и словосочетаний, и по результатам анализа выводят итоговую оценку каждому обучаемому, при этом для автоматизации процесса анализа оптическим методом определяют яркости полей по столбцам каждой строки сформированной матрицы ответов и ставят в соответствие с яркостью полей по столбцам каждой строки сформированной матрицы ответов, с номером столбца соответствующей строки предварительно подготовленной матрицы значимых слов и словосочетаний, определяющего градацию оценки, при этом выводят итоговую оценку для каждого обучаемого как результат среднего значения оценок, полученных за каждый вопрос, причем предварительно задают градацию оценки в матрице значимых слов и словосочетаний, как процент числа совпадения значимых слов и словосочетаний от их общего количества: отлично, если процент совпадений превысит значение 85%; хорошо, если процент совпадений превысит значение 70%; удовлетворительно, если процент совпадений превысит значение 55%; неудовлетворительно, если процент совпадений будет ниже значения 55%.

Благодаря новой совокупности существенных признаков в заявляемом способе, заключающейся в том что: выделяют значимые слова и словосочетания в предварительно подготовленных ответах; формируют матрицу значимых слов и словосочетаний по всему набору вопросов; заносят ответы в стандартные бумажные бланки; считывают текстовые пояснения ответов на вопросы оптическим методом; выявляют наличие значимых слов и словосочетаний в обработанных текстовых пояснениях ответов; формируют матрицу ответа; оптическим методом определяют яркости полей по столбцам каждой строки сформированной матрицы ответов; ставят в соответствие с яркостью полей по столбцам каждой строки сформированной матрицы ответов; задают градацию оценки в матрице значимых слов и словосочетаний; выводят итоговую оценку.

Заявленный способ поясняется чертежами, где:

на фиг. 1 изображен стандартный бумажный бланк, используемый в процессе экспресс-тестирования;

на фиг. 2 - матрица значимых слов и словосочетаний (вариант);

на фиг. 3 - матрица ответа на билет (вариант).

Экспресс-тестирование знаний обучаемых происходит следующим образом.

1. В предварительно подготовленных ответах, хранящихся в виде текстовых файлов в ЭВМ, выделяют значимые слова и словосочетания, которые наиболее полно характеризуют правильность ответа.

Причем для каждого вопроса в подготовленном ответе выделяют свою совокупность значимых слов и словосочетаний. Поэтому у каждого вопроса в подготовленном ответе число значимые слов и словосочетаний может как совпадать, так и быть различным (см. фиг. 2). В качестве значимых слов и словосочетаний выделяют те, которые наиболее точно характеризуют ответ на вопрос и которые содержатся в доступных для обучаемых материалах, например, в учебниках и учебных пособиях по тестируемому предмету.

2. Формируют матрицу значимых слов и словосочетаний по всему набору вопросов, в которой строками являются номера вопросов, а столбцами - количество значимых слов и словосочетаний, определяющих градацию оценки.

Пример матрицы значимых слов и словосочетаний представлен на фиг. 2

3. Задают градацию итоговой оценки как процент числа совпадения значимых слов и словосочетаний в текстовых пояснениях ответов.

Значения градаций определяет проверяющий, в соответствии с сформированной матрицей значимых слов и словосочетаний. В качестве значений градаций итоговой оценки, например, могут выступать:

отлично, если процент совпадений превысит значение 85%;

хорошо, если процент совпадений превысит значение 70%;

удовлетворительно, если процент совпадений превысит значение 55%;

неудовлетворительно, если процент совпадений будет ниже значения 55%. На фиг. 2 для каждого вопроса выделены поля значений градаций итоговой оценки, определяющих число значимых слов и словосочетаний.

4. Предъявляют обучаемым одинаковый набор вопросов.

При этом количество вопросов может быть любым и определяется проверяющим. Причем понятие одинакового набора может подразумевать как полную идентичность вопросов у каждого обучаемого, так и равное количество вопросов, но с различным их содержанием. В качестве примера на фиг. 3 представлена матрица ответа на билет №1, в котором содержится три вопроса из пяти вопросов, подготовленных в матрице значимых слов и словосочетаний (см. фиг. 2).

5. Обучаемые заносят ответы в стандартные бумажные бланки.

В качестве примера на фиг. 1 представлен бумажный бланк, используемый в процессе экспресс-тестирования. Бланк предназначен для автоматического считывания оптическим методом, поэтому на бланке нанесены поля строго в определенных и фиксированных позициях относительно габаритов бланка. Все поля бланков заполняются обучаемыми с момента выдачи вопросов. Вопросы могут выдаваться, например, на бумажном носителе, на экране монитора, проектной доске, или другом носителе, доступном для всеобщего обозрения всеми обучаемыми. Ответы на вопросы обучаемые заносят строго в указанных полях бланков в виде текстовых пояснений.

6. Считывают текстовые пояснения ответов на вопросы оптическим методом.

При этом для считывания текстовых пояснений ответов на вопросы могут использоваться, например, сканер, подключенный к ЭВМ с установленным стандартным программным обеспечением, поставляемым со сканером. Для считывания текстовых пояснений ответов также может использоваться веб-камера или любое цифровое фотографическое устройство.

7. Затем считанные текстовые пояснения ответов обрабатывают.

Причем сам процесс обработки состоит в представлении текстовых пояснений в электронный вид путем распознавания с помощью стандартного программного обеспечения для ЭВМ, например, с помощью программы FineReader для оптического распознавания символов, разработанной российской компанией ABBYY, программа позволяет переводить изображения документов в электронные редактируемые форматы, или веб-камерой, как предложено в способе, являющемся ближайшим аналогом.

8. В ходе обработки выявляют наличие значимых слов и словосочетаний в обработанных текстовых пояснениях ответов, соответствующих значимым словам и словосочетаниям из предварительно подготовленных ответов, при этом отдельно по каждому обучаемому формируют его матрицу ответа, строками которой являются номера вопроса, а столбцами - количество значимых слов и словосочетаний, выявленных в текстовом пояснении, причем поле каждой строки заштриховывают только в том столбце, который соответствует количеству значимых слов и словосочетаний, выявленных в текстовом пояснении.

Числовое значение выявленных значимых слов и словосочетаний в обработанных текстовых пояснениях ответов выводится на экран монитора ЭВМ раздельно для каждого вопроса каждого обучаемого.

Указанные числовые значения выявленных значимых слов и словосочетаний проверяющий заносит в формируемую матрицу ответа путем закрашивания темным цветом, например, простым карандашом или шариковой ручкой, поля соответствующего столбца в каждой строке. На фиг. 3 представлен вариант матрицы ответа на билет №1 с заштрихованными полями.

Матрица также может представляться в электронном виде на экран монитора ЭВМ, в этом случае соответствующие поля затемняют способом, предусмотренным текстовым редактором программного обеспечения.

На бумажном носителе матрица может готовиться заранее, накануне тестирования.

9. Анализируют сформированную матрицу ответа каждого из обучаемых, путем ее сравнения с матрицей значимых слов и словосочетаний, и по результатам анализа выводят итоговую оценку каждому обучаемому.

В результате сравнения выявляют соответствие позиций выделенных полей матрицы ответа и матрицы значимых слов и словосочетаний.

Для матрицы на фиг. 3 выделенное поле ответа на вопрос 1 (поле 6) (вопрос 1 из матрицы значимых слов и словосочетаний) соответствует градации оценки удовлетворительно из матрицы значимых слов и словосочетаний на фиг. 2. Выделенное поле ответа на вопрос 2 (поле 15) (вопрос 3 из матрицы значимых слов и словосочетаний) - градации оценки хорошо, а поле ответа на вопрос 3 (поле 9) (вопрос 4 из матрицы значимых слов и словосочетаний) - градации оценки отлично.

10. Выводят итоговую оценку для каждого обучаемого как результат среднего значения оценок, полученных за каждый вопрос, причем предварительно.

Для рассматриваемого примера итоговая оценка будет рассчитана следующим образом: (3+4+5)/3=4.

Для автоматизации процесса анализа оптическим методом определяют яркости полей по столбцам каждой строки сформированной матрицы ответов и ставят в соответствие с яркостью полей по столбцам каждой строки сформированной матрицы ответов, с номером столбца соответствующей строки предварительно подготовленной матрицы значимых слов и словосочетаний, определяющего градацию оценки.

Для этого матрицу значимых слов и словосочетаний располагают над матрицей ответа. Оптический способ позволяет определить позицию выделенного поля в матрице ответа (способ известен, см. патент РФ №2564224, G09B 3/06, опубл. 27.09.2015., Бюл. №27). Затем выделенную позицию матрицы ответа сравнивают с соответствующей позицией матрицы значимых слов и словосочетаний. А так как все позиции матрицы значимых слов и словосочетаний определяют границы градации оценки, то по полученному результату принимают решение об оценке за вопрос.

При этом итоговая оценка обучаемого может выводиться отдельно по каждому вопросу, на который отвечал обучаемый, или по совокупности всех оценок, полученных за каждый ответ, например, путем нахождения их среднего значения.

Таким образом, по сравнению с ближайшим аналогом, в предлагаемом способе обработки результатов экспресс-тестирования знаний обучаемых достигается технический результат, заключающийся в частичной автоматизации обработки результатов тестирования разнородных вопросов, на которые требуется дать развернутые текстовые ответы.