Использование данных о процессе выполнения задания при оценке креативного мышления

Психологическая наука и образование 2023. Том 28. № 4. С. 63–80 doi:10.17759/pse.2023280404 ISSN: 1814-2052 / 2311-7273 (online)

Аннотация

Креативное мышление является важным навыком современного мира, а его оценка с помощью современных цифровых инструментов становится все более сложной методологической задачей. Включение в модель оценки креативного мышления данных о процессе выполнения заданий является перспективным направлением, которое становится возможным в компьютерном тестировании.

Применение таких данных позволяет учитывать процессы креативного мышления в динамике, что делает оценку уровня креативности учеников более точной и многогранной. Цель исследования заключалась в определении возможности использования данных о процессе выполнения задания в рамках оценки креативного мышления с помощью инструмента в цифровой среде.

В работе представлен анализ работ 823 учеников 4 класса, которые в ходе выполнения задания создавали изображения в закрытой симуляционной среде для оценки креативного и критического мышления. Анализ данных о процессе выполнения заданий происходил с использованием N-грам различной длины.

В результате сравнили последовательности действий учеников с разным уровнем сформированности креативного мышления, а также выделены различные стратегии поведения тестируемых при выполнении задания на креативное мышление по сравнению с заданием на критическое мышление.

В совокупности с информацией об уровне креативности на основе анализа созданного продукта данные о процессе выполнения задания улучшают понимание функционирования заданий через призму процесса выполнения заданий тестируемыми, а также делают шаг вперед в детализации обратной связи, которая может быть получена в рамках тестирования.

Общая информация

Ключевые слова: креативное мышление, образовательные данные, компьютерное тестирование

Рубрика издания: Психология развития (Возрастная психология)

Тип материала: научная статья

Финансирование: Статья подготовлена в рамках гранта, предоставленного Министерством науки и высшего образования Российской Федерации (№ соглашения о предоставлении гранта 075-15-2022-325 от 25.04.2022).

Принята в печать: 28.07.2023

Для цитаты: Тарасов С.В. Использование данных о процессе выполнения задания при оценке креативного мышления // Психологическая наука и образование. 2023. Том 28. № 4. С. 63–80. DOI: 10.17759/pse.2023280404

Полный текст

Процессный подход к измерению креативности

Процессный подход к измерению креативности фокусируется на специфических когнитивных процессах, которые способствуют творческому развитию. Традиционные тесты, разработанные в рамках этого подхода, включают открытые или плохо структурированные задачи, требующие выработки как можно большего числа ответов, которые затем оцениваются для определения различных факторов креативности.

Среди ключевых факторов креативности, выделяются следующие:

• Беглость (количество ответов)
• Оригинальность (статистическая редкость)
• Гибкость (количество различных категорий)
• Проработанность (количество деталей)

Основной идеей оценки креативности является не только рассмотрение количества ответов, но и оценка их качества.

Цель исследования

Целью исследования является определение возможностей использования данных о процессе выполнения задания в рамках оценки креативного мышления с использованием цифрового инструмента.

На основе данных, полученных в процессе выполнения задания, можно сравнивать процессы его решения учащимися с разными уровнями развития навыка креативности.

Используя инструмент, описанный далее, можно оценить не только креативность, но и критическое мышление.

Методы

В ходе исследования был проанализирован одно из заданий инструмента оценки навыков 21-го века 4К среди учащихся 4 класса. Данный инструмент был разработан сотрудниками Центра психометрики и измерений в образовании Института образования НИУ ВШЭ.

Инструмент включает несколько заданий сценарного типа, направленных на оценку четырех навыков: креативного и критического мышления, коммуникации и кооперации. Большинство заданий позволяют оценить сразу несколько навыков.

В ходе тестирования инструмент предоставляется в цифровом формате. Экран заданий интерактивен, что позволяет тестируемому взаимодействовать с заданием и получать обратную связь.

Анализ задания Монстр

В рамках исследования было проанализировано задание Монстр, предназначенное для оценки креативного и критического мышления. Данное задание имеет вымышленный контекст, в котором тестируемый оказывается на праздничном представлении в Городе монстров.

Задание состоит из экранов с описанием и конструктора, с помощью которого тестируемый создает изображения.

## В первой части задания
В первой части этого задания, направленного на оценку креативного мышления, каждый тестируемый для афиши представления создает трех монстров, которые должны быть удивительными и необычными, а также отличаются от местных жителей. Интерфейс данной части задания представлен на рис. 1\. Конструктор состоит из холста в центре, на который могут быть помещены элементы из нижней панели. 

Все элементы разделены на категории (туловище, руки, разное и т. д.) и могут быть использованы неограниченное количество раз (кроме туловища, которое обязательно должно быть одно и фиксируется в центре холста). Справа на экране был представлен местный житель, который для цели оценки оригинальности считался референсом. Также на экране над референсом и справа на нижней панели содержатся инструкции для выполнения задания.

![Интерфейс задания Монстр для оценки креативного мышления](https://psyjournals.ru/files/journalarticles/10000/12958/custom/1.jpg)  

Рис. 1\. Интерфейс задания Монстр для оценки креативного мышления

## Во второй части задания
Во второй части задания оказывается, что во время представления произошло чрезвычайное происшествие и тестируемый по короткому описанию преступника должен составить его фоторобот. Интерфейс этой части задания не сильно отличается от интерфейса предыдущей части и представлен на рис. 2\. Основное отличие заключается в инструкции, согласно которой тестируемому надо составить фоторобот монстра-преступника, а не необычного монстра.

![Интерфейс задания Монстр для оценки критического мышления](https://psyjournals.ru/files/journalarticles/10000/12958/custom/2.jpg)  

Рис. 2\. Интерфейс задания Монстр для оценки критического мышления

### Операционализация конструкта
Для оценки оригинальности построенного тестируемым изображения, мы сравниваем его с референсом. Референс представляет из себя прокси изображение, отражающее образ наиболее часто встречающееся в выборке. При создании референса для задания мы выявляем наиболее типичные элементы и их количество с помощью когнитивных интервью и количественных исследований на пилотном этапе. Направленность задания на креативность определяется тем, что в рамках задания тестируемых просят создать новый образ, который должен отличаться от исходного.

Аналогично измерению в рамках когнитивного подхода, в нашем исследовании детализация измеряется как количество элементов, которые используются в решении, и их функциональное разнообразие.

### Выборка и процедура
Тестирование проводилось весной 2022 года в нескольких городах России. Из всех выборки были отобраны ученики, которые полностью выполнили задание Монстр (каждое изображение содержит хотя бы 2 элемента). Таким образом, база для анализа состояла из 823 учащихся четвертых классов.

Среднее время выполнения задания составляет 15 минут. Тестирование проходило в школах под наблюдением учителя с согласия родителей в соответствии с исследовательской этикой. Результаты учеников были анонимизированными для целей анализа.

Инструмент 4K оценки навыков оценивает умения с использованием указателей. Под указателями понимаются в первоначально заданные разработчиком сценария поведения навыка, например, правильное или неправильное поведение в данной ситуации. Для оценки проявления креативности и критического мышления в задании Монстр мы рассматриваем особенности изображений, созданных испытуемыми.

Эти особенности изображения (индикаторы) имеют определенные правила подсчета баллов, представленные в таблице 1. Правила применяются к каждому изображению отдельно. Ниже приведены правила начисления баллов за оригинальность и детализацию.

Правила оценки креативности в задании Монстр

• 1 балл за количество элементов в категории Ноги отличное от 2
• 1 балл за количество элементов в категории Руки отличное от 2
• 1 балл за количество элементов в категории Рот отличное от 1
• 1 балл за количество элементов в категории Глаза отличное от 2
• 1 балл за отсутствие симметрии в категории Ноги
• …

Также фиксировался процесс создания изображения каждым испытуемым в виде записи всех действий через запятую, например, Start, Add_Torso, Add_Hands, Add_Legs, Color, Add_Eyes, Finish. Описание всех возможных действий представлено в таблице 2.

Действия в журнале действий

• Изменение цвета монстра
• Добавление элемента из категории:…

Таким образом, с помощью указателей и журнала действий мы можем более объективно оценить креативные и критические навыки испытуемых в задании Монстр.

Таблица 1: Правила подсчета баллов

Таблица 2: Действия в журнале

Tur_X, где X аналогичен случаю с Add, кроме Torso, т.к. туловище всегда расположено по центру холста и не поворачиваетсяПоворот элемента из разных категорий

Del_X, где X аналогичен случаю с AddУдаление элемента из разных категорий

Обращение к справке нажатием на знак вопроса

Методология анализа данных

Единицей анализа в моделях выступает индикатор. О взаимосвязи между индикатором и фактором можно говорить на основе факторной нагрузки индикатора в модели КФА. Статистически значимая и положительная факторная нагрузка указывает наличие этой взаимосвязи, а более высокое значение факторной нагрузки указывает на более высокую связь индикатора с изучаемым фактором.

где i,j – определенное действие i (N-грам) в определенной последовательности j,

N – общее количество последовательностей,

ni,j – частота действия i в последовательности j,

ni – частота действия i во всех последовательностях.

Результаты

Сначала были построены модели конфирматорного факторного анализа для определения уровня креативности согласно заложенным в задание индикаторов. Были построены две отдельные модели для субконструктов Оригинальность и Детальность. Показатели качества обеих моделей представлены в табл. 3 и говорят о хорошем соответствии модели данным.

Показатели соответствия модели

На Рис. 3 показана факторная структура модели для субконструкта Оригинальность. В модель для лучшего соответствия данным для всех трех изображений монстров были добавлены корреляции между индикаторами симметрии и позиции рук, симметрии и оригинального количества рук, симметрии и оригинального количества ног.

Рис. 3. Факторная структура субконструкта Оригинальность

Все стандартизированные факторные нагрузки значимы (р < 0,05) и находятся в диапазоне от 0,22 до 0,67 при среднем значении 0,45, что является приемлемым значением.

На Рис. 4 показана факторная структура модели для субконструкта Детальность. В данной модели были также добавлены корреляции между связанными между собой индикаторами, а именно поворот, количество элементов без категории Разное и количество элементов из категории Разное.

Рис. 4. Факторная структура субконструкта Детальность

Все стандартизированные факторные нагрузки значимы (р<0,05) и находятся в диапазоне от 0,16 до 0,83 при среднем значении 0,41.

Сравнение процесса выполнения задания на креативное мышление учениками с высоким и низким уровнем креативного мышления

Для ответа на первый исследовательский вопрос мы рассмотрели первое изображению монстра, которые создавались тестируемыми при решении задания, направленного на оценку креативного мышления. Были построены уни-грамы, би-грамы и три-грамы, так как более длинные последовательности не обладают высокой частотой в данных и сложны в интерпретации. В табл. 4-5 приведены значение хи-квадрат при сравнении двух групп тестируемых по уровню сформированности двух субконструктов креативности (оригинальность и детальность), причем в группу с высоким уровнем были отобраны 200 учеников с наивысшем факторным баллом по соответствующему субконструкту, а в группу с низким уровнем – 200 учеников с наименьшим факторным баллом.

Различие частоты N-грам в процессе выполнения заданий на креативное мышление у учеников с высоким и низким уровнем оригинальности

Add_Hands Add_Hands Add_HandsAdd_Mouth Add_Eyes Add_Eyes

Add_Eyes Add_Eyes Add_EyesAdd_Eyes Add_Eyes Finish

Add_Hands Add_Legs FinishDel_Torso Add_Torso Add_Legs

Add_Legs Add_Various Add_Hands

Add_Mouth Add_Legs Finish

Среди уни-грам нет существенных различий между учениками с высоким и низким уровнем оригинальности. На основе би-грам можно заключить, что ученики с высоким уровнем чаще используют элементы из категории Разное, что является логичным, так как в данной категории находятся уникальные элементы, которые создают оригинальность итогового образа. Также у учеников с высоким уровнем оригинальности встречаются би-грамы, включающие действие удаления элемента, что может говорить о творческом процессе, когда ученик пробует разные элементы, чтобы создать оригинальный образ. Среди три-грам наибольшая разница между учениками с разным уровнем оригинальности наблюдается у последовательностей добавления трех элементов из категории (руки и глаза). Это подтверждает существующую систему подсчета баллов за задание, так как для этих категорий количество элементов на референсе равно двум, и если тестируемый добавляет сразу три элемента, то это ассоциируется с большим баллом за оригинальность.

Различие частоты N-грам в процессе выполнения заданий на креативное мышление у учеников с высоким и низким уровнем детальности

Start Add_Torso ColorStart Add_Torso Add_Mouth

Add_Torso Color ColorStart Add_Torso Add_Hands

Add_Horns Tur_Horns Tur_HornsAdd_Hands Add_Hands Finish

Color Add_Legs Add_LegsAdd_Torso Add_Hands Add_Hands

Color Add_Hands Add_HandsStart Add_Torso Add_Legs

Tur_Horns Tur_Horns Tur_HornsStart Add_Torso Add_Eyes

Add_Horns Add_Horns Tur_HornsAdd_Torso Add_Legs Add_Legs

Add_Torso Color Add_LegsAdd_Hands Add_Hands Add_Legs

Color Add_Eyes Add_EyesAdd_Mouth Add_Eyes Finish

Add_Torso Color Add_EyesAdd_Torso Add_Mouth Add_Hands

Color Color ColorAdd_Legs Add_Legs Finish

Add_Torso Add_Eyes Add_Eyes

Ученики с высоким уровнем детальности значительно чаще меняют цвет монстра и поворачивают элементы из разных категорий. Это согласовывается с системой подсчета баллов за детальность, так как эти действия ассоциированы с более высокими баллами за индикаторы детальности. В то же время ученики с низким уровнем детальности удаляют элементы из разных категорий, что уменьшает общее количество элементов монстра и говорит о низком уровне детальности тестируемого. Кроме этого, наблюдается, что уни-грам в виде обращения к справке чаще встречается у учеников с низким уровнем детальности. Это можно объяснить тем, что такие ученики возможно не поняли, как работать в конструкторе и поэтому не смогли построить монстра и проявить свою креативность.

Сравнение процесса выполнения заданий на креативное и критическое мышление

Для ответа на второй исследовательский вопрос были взяты по первому изображению монстра, которые создавались тестируемыми при решении двух частей задания: для оценки креативного и критического мышления. Как и в предыдущем пункте были построены уни-грамы, би-грамы и три-грамы, но среди три-грам были отобраны те, которые встречаются хотя бы 10 раз во всех решениях, чтобы убрать очень редкие последовательности, даже если они позволяют различать решения. В табл. 6 приведены значение хи-квадрат при сравнении двух групп монстров (были отобраны N-грамы с наибольшим значением хи-квадрат в каждой из групп).

Различие частоты N-грам в процессе выполнения заданий на креативное и критическое мышление

Add_Torso Color ColorStart Add_Torso Add_Horns

Del_Legs Add_Legs Add_LegsAdd_Torso Add_Horns Add_Horns

Add_Hands Del_Hands Add_HandsAdd_Torso Add_Horns Add_Mouth

Add_Legs Add_Legs Del_LegsStart Add_Torso Add_Eyes

Del_Hands Add_Hands Add_HandsAdd_Torso Add_Horns Add_Legs

Add_Legs Del_Legs Add_LegsAdd_Legs Add_Eyes Finish

Del_Hands Add_Hands Tur_Hands

Tur_Legs Tur_Legs Tur_Legs

Среди уни-грам прослеживается четкие отличия между решениями. В задании на креативное мышление тестируемые значимо чаще удаляют элементы, причем во всех 7 категориях. В задании на критическое мышление тестируемые значительно чаще добавляют элементы из категории Рога, что объясняется условиями задачи, т.к. при составлении фоторобота преступника, который по словам очевидцев имел рога, добавление элементов из этой категории показывает, что тестируемый правильно понял условие задания и проявил критическое мышление. Но в то же время, в задании на критическое мышление тестируемые чаще добавляют и элементы из других категорий, а также поворачивают руки и рога. На основе би-грам и три-грам можно говорить о том, что в задании на креативное мышление ученики чаще меняют цвет монстра, а в задании на критическое мышление ученики оставляют его цвет изначальным (серым). Также они удаляют и поворачивают элементы из разных категорий, что свидетельствует о творческом процессе, в то время как при составлении фоторобота ученики стараются просто собрать монстра из деталей, поэтому после взвешивания действия, связанные с добавлением элементов, преобладают в процессе выполнения задания на критическое мышление.

Обсуждение результатов и заключение

Целью данной работы являлось определение возможностей использования данных о процессе выполнения задания в рамках оценки креативного мышления. Был рассмотрен инструмент тестирования, реализуемый в цифровой среде и состоящий из двух частей: для оценки креативного и критического мышления.

На первом этапе анализа были построены модели КФА для получения оценок тестируемых по субконструктам креативного мышления. Далее эти оценки были использованы для выделения групп тестируемых с высоким и низким уровнем оригинальности и детальности.

На последующем этапе для анализа данных о процессе выполнения задания был выбран метод N-грам, небольших последовательностей действий, извлеченных из журнала действий тестируемого. Были использованы последовательности от одного до трех действий.

Мы сравнили с помощью критерия χ2 частоту встречаемости различных N-грам у учеников с высоким и низким уровнем креативного мышления. В результате были выделены ряд N-грам, которые ассоциируются с разным уровнем креативного мышления, например использования элемента из категории Разное свидетельствует о высоком уровне оригинальности, а удаление элемента из категории Туловище – о низком уровне детальности.

В рамках второго исследовательского вопроса мы сравнили выполнение заданий на креативное и критическое мышление, реализованных в одном и том же конструкторе. На основе частоты встречаемости определенных N-грам были получены доказательства того, что разные задания работают соответствующим образом. Так, в задании на креативное мышление ученики чаще удаляют и поворачивают элементы, меняют цвет изображения, а в задании на критическое мышления ученики чаще добавляют те элементы, которые необходимы для правильного решения задания.

Таким образом, в качестве вывода можно отметить, что выбранный метод анализа данных о процессе выполнения задания оказался полезен и может быть использован для понимания поведения тестируемых с разным уровнем развития навыка (в данном исследовании креативного мышления) и при проверке качества заданий.

На основе анализа процесса выполнения задания мы получили, что на результат выполнения задания на креативное мышление могут влиять и другие характеристики тестируемых, например, их уровень цифровой грамотности. Это можно подкрепить тем, что ученики с низким уровнем детальности значимо чаще учеников с высоким уровнем обращались к справке по заданию, в которой содержится обучение по работе с конструктором. Можно предположить, что из-за низкого уровня цифровой грамотности они не разобрались с тем, как выполнять задание на оценку креативного мышления в цифровой среде. Данное наблюдение описывает одно из ограничений современных инструментов оценивания, а именно возможное вмешательство других факторов.

К ограничениям данного исследования можно отнести небольшую выборку для анализа, из-за чего часть N-грам были очень редкими в совокупности решений. Также по этой причине на этапе анализа мы объединили действия по категориям (например, добавление или поворот руки), а не рассматривали конкретные элементы внутри категории (добавление руки №1 или поворот руки №2). Анализ на уровне отдельных элементов находится в наших планах по уточнению работы самого конструктора, с помощью которого тестируемые создают изображения. Есть гипотеза, что определенные элементы внутри категорий могут быть связаны с уровнем креативности, например, тестируемые с высоким уровнем оригинальности будут склоны добавлять руку №3, чем другие руки.

Литература

Всего: 176 В прошлом месяце: 26 В текущем месяце: 24

Скачиваний

Всего: 57 В прошлом месяце: 7 В текущем месяце: 8