Лучшие ответы, более широкий взгляд: что дают студентам ChatGPT и тренировка критического мышления

В ходе рандомизированного эксперимента с участием более 1 000 студентов доступ к ChatGPT и обучение причинно-следственному анализу улучшили качество студенческих работ взаимодополняющим образом.

Читать доклад

Что происходит, когда студенты используют ChatGPT для выполнения реального задания? Не достигается ли рост качества за счет потери оригинальности?

Новый эксперимент, проведенный исследователями из Университета Боккони в сотрудничестве с OpenAI Economic Research, выявил четкие и взаимодополняющие эффекты от доступа к ChatGPT и обучения критическому мышлению. Доступ к ChatGPT повысил качество и связность работ студентов, в то время как упражнение на причинно-следственный анализ (форму критического мышления) побудило их генерировать более уникальные идеи. Студенты, получившие и доступ к ChatGPT, и соответствующее обучение, продемонстрировали оба этих эффекта.

Результаты также подчеркивают важность комплексного подхода к оценке успеваемости студентов. Поскольку ИИ облегчает создание отполированных ответов, задания, возможно, придется адаптировать для измерения других желаемых качеств, таких как оригинальность.

ИИ помог студентам преодолеть разрыв в экспертных знаниях

В ходе эксперимента более 1 000 студентов первого курса бакалавриата Университета Боккони работали над реальным бизнес-кейсом — разрабатывали маркетинговые рекомендации для университетского магазина сувениров.

Студенты были случайным образом распределены по учебным группам в одну из четырех категорий: им предоставили доступ к ChatGPT (GPT‑4o), обучение причинно-следственному анализу, то и другое одновременно или ничего из перечисленного. Причинно-следственный анализ — это особая форма критического мышления, связанная с установлением связи между причиной и следствием и объяснением того, почему то или иное решение может сработать или не сработать. Обучение, которое прошли студенты, не было связано с ИИ и вместо этого обучало концепциям причинно-следственного анализа с помощью упражнения, включающего игру, примеры, вопросы и обратную связь.

Работы студентов оценивались квалифицированными экспертами-преподавателями по пятибалльной шкале. Кроме того, исследователи использовали автоматический анализ текста для измерения количества и разнообразия идей в каждой работе, признаков причинно-следственного анализа, а также степени схожести с работами трех экспертов.

Diagram titled

Студенты, имевшие доступ к ChatGPT, набрали почти на балл выше по пятибалльной шкале. Их ответы содержали больше идей, отличались более четкой логикой и были ближе к рекомендациям, составленным экспертами. Иными словами, ИИ помог новичкам создавать работы, выглядящие более профессионально. Что важно, студенты не просто перекладывали выполнение заданий на ChatGPT. Им все равно приходилось решать, что именно спросить, оценивать полученные ответы и выбирать то, что войдет в итоговую работу.

Обучение критическому мышлению помогло иначе

Упражнение на критическое мышление дало более неожиданный результат. Студенты, выполнившие это задание, яснее объясняли, почему их идеи могут сработать и когда они могут потерпеть неудачу, однако они не получили более высоких баллов по шкале оценки, которая учитывала лишь то, насколько хорошо рекомендации отвечают двум стандартным маркетинговым целям: повышению осведомленности о университетском магазине и росту его посещаемости.

Анализ текста выявил еще одно преимущество, которое не улавливала система оценивания. Среди всей группы студенты, прошедшие упражнение, предложили более широкий спектр идей, которые сильнее отличались от того, что создали их сверстники. Это важно, поскольку традиционная шкала оценки, подобная той, что использовалась в эксперименте, может поощрять четкий и хорошо структурированный ответ, но не замечать, предложил ли студент идею, до которой больше никто не додумался.

Доступ к ИИ может дополнять навыки мышления

Возкушение споров вокруг образования часто сводят к выбору: должны ли студенты учиться думать самостоятельно или учиться использовать ИИ.

Данный эксперимент подчеркивает, что оба подхода ценны по-своему. Доступ к ИИ помог студентам создавать более отполированные, насыщенные идеями и логически стройные ответы. Тренировка критического мышления побудила их генерировать более широкий спектр оригинальных идей, ставить под сомнение предположения и объяснять, почему их идеи должны работать.

Вместе они дополняют друг друга.

Студенты, которые получили и доступ к ChatGPT, и упражнение на критическое мышление, продемонстрировали преимущества обоих подходов. Разнообразие их идей соответствовало показателям студентов, прошедших только упражнение. Их оценки по критериям и количество идей были схожи с результатами тех, кто пользовался только ChatGPT. Кроме того, их работы продемонстрировали большую логическую связность и больше признаков поиска объяснений и критического анализа предположений. В целом эта группа показала прирост по самому широкому спектру показателей.

Рандомизированный дизайн эксперимента позволил исследователям детально изучить эти факторы, отделив эффекты от доступа к ChatGPT и упражнения на критическое мышление от эффекта их комбинации. Это делает эксперимент исключительно полезным вкладом в стремительно растущий массив исследований о влиянии ИИ на учащихся и о том, как лучше всего структурировать и поддерживать их обучение.

Вызов для учебных заведений

Расхождение между реальным влиянием упражнения на студентов и тем, что фиксировала традиционная шкала оценки, указывает на более масштабную проблему, с которой сталкиваются школы и университеты.

Если ИИ может помочь студентам создавать отполированные работы экспертного уровня, то оценка исключительно финального ответа дает гораздо меньше информации о том, что студент на самом деле понял.

Многие преподаватели уже задумываются над тем, что задания и методы оценивания необходимо менять. Это укладывается в многодесятилетнюю тенденцию совместной эволюции технологий и образования ради формирования навыков, необходимых студентам в современном обществе.

Полученные результаты подчеркивают важность поощрения студентов за работы, в которых отражены оригинальность, рассудительность и рассмотрение множества подходов, а не только наиболее банальные или безупречные ответы.

Главный вывод: ИИ помог студентам сделать ответы лучше. Тренировка критического мышления помогла сделать их идеи шире. Они играют взаимодополняющую роль в подготовке учащихся к будущему.

Автор

OpenAI

Полный текст статьи читайте на OpenAI