Отчет Anthropic об образовании: как студенты университетов используют Claude08.04.2025 00:00

Системы искусственного интеллекта больше не являются просто специализированными исследовательскими инструментами — они стали повседневными академическими помощниками. По мере того как ИИ все глубже интегрируется в образовательную среду, нам необходимо рассмотреть важные вопросы, касающиеся обучения, оценивания и развития навыков. До сих пор большинство обсуждений основывалось на опросах и контролируемых экспериментах, а не на прямых доказательствах того, как студенты естественным образом интегрируют ИИ в свою учебу в реальных условиях.

Чтобы восполнить этот пробел, мы провели одно из первых крупномасштабных исследований реальных паттернов использования ИИ в высшем образовании, проанализировав один миллион анонимизированных диалогов студентов на Claude.ai.

Ключевые выводы нашего отчета об образовании:

• Студенты STEM-специальностей (наука, технология, инженерия и математика) являются пионерами в освоении инструментов ИИ, таких как Claude. При этом студенты компьютерных наук представлены особенно широко (на их долю приходится 36,8% студенческих диалогов при том, что они составляют лишь 5,4% обладателей ученых степеней в США). Напротив, студенты бизнес-специальностей, медицинских и гуманитарных направлений демонстрируют более низкие показатели использования по сравнению с долей их зачислений.
• Мы выделили четыре паттерна взаимодействия студентов с ИИ, каждый из которых присутствовал в наших данных примерно в равных пропорциях (по 23–29% диалогов): прямое решение проблем, прямое создание результатов, совместное решение проблем и совместное создание результатов.
• Студенты используют системы ИИ в основном для создания (использования информации для изучения чего-то нового) и анализа (разделения известного на части и выявления взаимосвязей), например, при создании проектов по программированию или анализе концепций права. Это согласуется с когнитивными функциями высшего порядка в таксономии Блума. Это поднимает вопросы о том, как гарантировать, что студенты не перекладывают критически важные когнитивные задачи на системы ИИ.

Определение использования ИИ в образовательных целях

При исследовании того, как люди используют модели ИИ, защита конфиденциальности пользователей имеет первостепенное значение. Для этого проекта мы использовали инструмент Claude Insights and Observations, или «Clio» — наш инструмент автоматизированного анализа, который дает представление о том, как люди используют Claude. Clio позволяет обнаруживать паттерны использования ИИ снизу вверх, сводя пользовательские диалоги к высокоуровневым сводкам использования, таким как «устранение неполадок в коде» или «объяснение экономических концепций». Clio использует многоуровневый автоматизированный процесс, который удаляет личную информацию пользователей из диалогов. Мы разработали этот процесс таким образом, чтобы минимизировать информацию, передаваемую с одного уровня на другой. Мы описываем архитектуру Clio, ориентированную на конфиденциальность, в этой ранней публикации в блоге.

Мы использовали Clio для анализа примерно одного миллиона анонимизированных1 диалогов из бесплатных и профессиональных аккаунтов Claude.ai, привязанных к адресам электронной почты высших учебных заведений.2 Затем мы отфильтровали эти диалоги по студенческой и академической релевантности — например, касался ли разговор курсовой работы или академических исследований — что позволило получить 574 740 диалогов. 3 После этого Clio сгруппировала эти диалоги для получения обобщенных выводов об образовании: какие академические предметы были представлены; чем отличалось взаимодействие студентов с ИИ; и какие типы когнитивных задач студенты делегируют системам ИИ.

Для чего студенты используют ИИ?

Мы обнаружили, что студенты в основном используют Claude для создания и улучшения образовательного контента по различным дисциплинам (39,3% диалогов). Это часто включало разработку практических вопросов, редактирование эссе или обобщение учебного материала. Студенты также часто использовали Claude для получения технических объяснений или решений академических заданий (33,5%) — совместной работы с ИИ над поиском и исправлением ошибок в коде, реализацией алгоритмов программирования и структур данных, а также над объяснением или решением математических задач. Часть такого использования может также представлять собой списывание, что мы обсудим ниже. Меньшую, но все же значительную долю использования студентами составили анализ и визуализация данных (11,0%), поддержка проектирования исследований и разработки инструментов (6,5%), создание технических диаграмм (3,2%), а также перевод или корректура контента на разных языках (2,4%).

Ниже приведена более подробная разбивка распространенных запросов по предметам.

Распространенные запросы студентов из четырех основных предметных областей на основе 15 наиболее частых запросов в Clio в рамках каждого предмета.

Использование ИИ по академическим дисциплинам

Затем мы изучили, в каких предметах наблюдалось непропорционально большое использование Claude. Для этого мы сравнили паттерны использования Claude.ai с количеством присужденных степеней бакалавра в США.4 Наиболее непропорционально интенсивное использование Claude зафиксировано в компьютерных науках: несмотря на то, что на них приходится лишь 5,4% степеней бакалавра в США, на долю компьютерных наук пришлось 38,6% диалогов на Claude.ai (это может отражать особые преимущества Claude в написании компьютерного кода). Естественные науки и математика также демонстрируют более высокую представленность в Claude.ai по сравнению с количеством зачисленных студентов (15,2% против 9,2% соответственно).

И наоборот, образовательные диалоги, связанные с бизнесом, составили лишь 8,9% бесед, несмотря на то, что на них приходится 18,6% степеней бакалавра, что свидетельствует о непропорционально низком использовании Claude. Профессии в сфере здравоохранения (5,5% против 13,1%) и гуманитарные науки (6,4% против 12,5%) также были менее представлены по сравнению с количеством студентов, обучающихся по этим дисциплинам.

Эти паттерны предполагают, что студенты STEM-специальностей, особенно в области компьютерных наук, могут быть более ранними сторонниками использования Claude в образовательных целях, в то время как студенты бизнес-специальностей, медицинских и гуманитарных дисциплин интегрируют эти инструменты в свои академические рабочие процессы медленнее. Это может отражать как большую осведомленность о Claude в сообществах программистов, так и более высокую эффективность систем ИИ при выполнении задач, с которыми сталкиваются студенты STEM, по сравнению с задачами студентов других дисциплин.

Сравнение процента студенческих диалогов в Claude.ai, относящихся к предметной области Национального центра статистики образования (NCES) (серый цвет), с процентом американских студентов колледжей со специализацией в этой области (оранжевый цвет). Обратите внимание, что проценты в сумме не дают 100%, так как некоторые диалоги были классифицированы в категорию «Другое» от NCES, которую мы исключили из нашего анализа.

Как студенты взаимодействуют с ИИ

Существует множество способов взаимодействия с ИИ, и они по-разному влияют на процесс обучения. В ходе нашего анализа того, как студенты взаимодействуют с ИИ, мы выделили четыре четких паттерна взаимодействия, которые мы классифицировали по двум разным осям, как показано на рисунке ниже.

Первая ось — «режим взаимодействия». Он может включать:5 (1) прямые диалоги, когда пользователь стремится разрешить свой запрос как можно быстрее, и (2) совместные диалоги, когда пользователь активно стремится вступить в диалог с моделью для достижения своих целей. Вторая ось — «желаемый результат» взаимодействия. Он может включать: (1) решение проблем, когда пользователь ищет решения или объяснения вопросов, и (2) создание результатов, когда пользователь стремится подготовить более крупные материалы, такие как презентации или эссе. Объединение этих двух осей дает нам четыре паттерна, представленных ниже.

Наша таксономия студенческих диалогов с ИИ вместе с примерами тем бесед на основе тех, которые были выявлены Clio.

Эти четыре стиля взаимодействия были представлены с сопоставимой частотой (каждый от 23% до 29% диалогов), что демонстрирует широкий спектр задач, для которых студенты используют ИИ. В то время как традиционный веб-поиск обычно поддерживает только прямые ответы, системы ИИ обеспечивают гораздо более широкое разнообразие взаимодействий, а вместе с ними — и новые возможности для обучения. Некоторые выбранные примеры позитивного обучения включают:

• Объяснение и уточнение философских концепций и теорий
• Создание комплексных учебных материалов и ресурсов по химии
• Объяснение понятий анатомии мышц, физиологии и их функций для академических заданий

В то же время системы ИИ создают новые проблемы. Распространенный вопрос звучит так: «насколько часто студенты используют ИИ для списывания?» На это трудно ответить, особенно учитывая, что мы не знаем конкретного образовательного контекста, в котором используется каждый ответ Claude. Например, диалог по прямому решению проблем может быть посвящен списыванию на домашнем экзамене… или проверке студентом своей работы по практическому тесту. Диалог по прямому созданию результатов может использоваться для написания эссе с нуля… или для создания конспектов для дальнейшего исследования. То, является ли совместный диалог списыванием, также может зависеть от правил конкретного курса.

Тем не менее, почти половина (~47%) диалогов между студентами и ИИ были прямыми — то есть представляли собой поиск ответов или контента с минимальным вовлечением. Хотя многие из них служат законным учебным целям (например, вопросы по концепциям или создание учебных пособий), мы действительно обнаружили вызывающие вопросы примеры прямых диалогов, среди которых:

• Предоставление ответов на вопросы с множественным выбором по машинному обучению
• Предоставление прямых ответов на вопросы языкового теста по английскому языку
• Переписывание маркетинговых и деловых текстов для обхода систем обнаружения плагиата

Это поднимает важные вопросы об академической честности, развитии навыков критического мышления и о том, как лучше всего оценивать результаты обучения студентов. Даже совместные диалоги могут иметь сомнительные результаты обучения. Например, запрос«решить задачи по теории вероятностей и статистике с пояснениями» может включать множество реплик в диалоге между ИИ и студентом, но при этом значительная часть мыслительного процесса перекладывается на ИИ. Мы продолжим изучать эти взаимодействия и постараемся лучше понять, какие из них способствуют обучению и развитию критического мышления.

Паттерны использования ИИ по конкретным предметам

Студенты разных дисциплин взаимодействуют с ИИ по-разному:

• Диалоги в области естественных наук и математики были направлены преимущественно на решение задач, например: «решить конкретные задачи по теории вероятностей с пошаговыми расчетами» и «решить задачи по домашнему заданию или экзамену с пошаговыми объяснениями».
• В области компьютерных наук, инженерии и естественных наук и математики наблюдался уклон в сторону совместных диалогов, в то время как в гуманитарных науках, бизнесе и здравоохранении соотношение совместных и прямых диалогов было более равномерным.
• В сфере образования отмечено наибольшее предпочтение созданию результатов — на него пришлось 74,4% диалогов. Однако такое использование может быть связано с погрешностями в наших методах фильтрации. Многие из этих диалогов включали «создание [комплексных] учебных материалов и образовательных ресурсов» и «создание подробных планов уроков», что указывает на то, что преподаватели также используют Claude для образовательной поддержки. В общей сложности на образование пришлось 3,8% всех диалогов.

Это говорит о том, что подход к интеграции ИИ в образовательный процесс выиграл бы от учета специфики конкретных дисциплин. Наши данные — это первый шаг к пониманию различий в том, как студенты из разных предметных областей взаимодействуют с ИИ.

Распределение диалогов по стилям взаимодействия для каждой предметной области NCES.

Когнитивные задачи, которые студенты делегируют ИИ

Мы также изучили, как студенты делегируют когнитивные обязанности системам ИИ. Мы использовали таксономию Блума6 — иерархическую структуру, используемую в образовании для классификации когнитивных процессов от более простых к более сложным. Хотя эта структура изначально предназначалась для оценки мышления студентов, мы адаптировали ее для анализа ответов Claude при общении со студентом.

Мы зафиксировали инвертированный паттерн доменов таксономии Блума, демонстрируемый ИИ:

• Claude в основном выполнял когнитивные функции высшего порядка, причем создание (39,8%) и анализ (30,2%) были наиболее частыми операциями из таксономии Блума.
• Когнитивные задачи более низкого порядка были менее распространены: применение (10,9%), понимание (10,0%) и запоминание (1,8%).

Это распределение также варьировалось в зависимости от стиля взаимодействия. Как и ожидалось, задачи по созданию результатов, такие как генерация резюме академических текстов или отзывов на эссе, включали больше функций создания. Задачи по решению проблем, такие как решение задач по исчислению или объяснение основ программирования, включали больше функций анализа.

Тот факт, что системы ИИ демонстрируют эти навыки, не исключает того, что студенты также задействуют их самостоятельно — например, совместно создавая проект или используя сгенерированный ИИ код для анализа набора данных в другом контексте, —, но это указывает на потенциальные риски передачи когнитивных способностей на аутсорсинг ИИ. Существуют обоснованные опасения, что системы ИИ могут стать «костылем» для студентов, подавляя развитие базовых навыков, необходимых для поддержки мышления высшего порядка. Перевернутая пирамида, в конце концов, может опрокинуться.

Когнитивные навыки, демонстрируемые Claude в диалогах со студентами, на основе таксономии Блума. Описания навыков взяты из Центра образовательных технологий и обучения Университета Флориды.

Ограничения

Наше исследование основано на реальных данных. Это дает много преимуществ с точки зрения достоверности наших выводов и их применимости к образовательным контекстам. Однако оно также имеет ограничения, которые могут влиять на масштаб наших результатов:

• Наш набор данных, вероятно, охватывает ранних последователей и может не отражать студенческое сообщество в целом;
• Неясно, насколько репрезентативно использование Claude по сравнению с общим использованием ИИ в образовании — многие студенты используют инструменты ИИ помимо Claude.ai, а значит, мы представляем лишь частичное представление об их общих паттернах взаимодействия с ИИ;
• В классификации диалогов вероятны как ложноположительные, так и ложноотрицательные результаты. Мы опирались на диалоги из аккаунтов, привязанных к адресам электронной почты высших учебных заведений: некоторые из них, сочтенные нашим классификатором студенческими, на самом деле могут принадлежать сотрудникам или преподавателям. Кроме того, другие студенческие диалоги могут вестись с аккаунтов, привязанных к неуниверситетским адресам электронной почты;
• Из соображений конфиденциальности мы анализируем только использование Claude.ai в рамках одного 18-дневного окна хранения данных. Использование сервиса студентами, вероятно, меняется в течение года по мере колебания их учебной нагрузки;
• Мы изучаем только то, какие задачи студенты делегируют ИИ, а не то, как они в конечном итоге используют результаты работы ИИ в своей учебе или способствуют ли эти диалоги эффективному обучению;
• Категоризация студенческих диалогов с ИИ по академическим дисциплинам может не в полной мере отражать междисциплинарную работу, где паттерны использования ИИ могут существенно различаться;
• Применение таксономии Блума к когнитивным процессам ИИ, в отличие от студента, несовершенно. Такие навыки, как запоминание, труднее поддаются количественной оценке в контексте систем ИИ.

Институциональная политика в отношении использования ИИ в образовании сильно различается и может существенно повлиять на наблюдаемые нами паттерны таким образом, который мы не можем измерить в рамках данного набора данных.

Выводы и взгляд в будущее

Наш анализ даетт с высоты птичьего полета представление о том, где и как студенты используют ИИ в реальном мире. Мы понимаем, что находимся лишь в начале пути к пониманию влияния ИИ на образование.

В ходе обсуждений со студентами и преподавателями мы увидели, что ИИ может расширять возможности обучения удивительными способами. Например, ИИ использовался для поддержки проекта студента по созданию прототипа ядерного синтеза и для содействия лучшему общению между студентами и преподавателями в классах.

Но мы не питаем иллюзий по поводу того, что эти первые выводы полностью отражают те глубокие изменения, которые происходят в образовании. ИИ усложняет жизнь преподавателей самыми разными способами, и данное исследование не охватывает их полностью. По мере того как студенты перекладывают когнитивные задачи высшего уровня на системы ИИ, возникают фундаментальные вопросы: как обеспечить развитие у студентов базовых когнитивных и метакогнитивных навыков? Как пересмотреть систему оценивания и правила борьбы со списыванием в мире, где доступен ИИ? Как выглядит осмысленное обучение, если системы ИИ могут практически мгновенно генерировать отточенные эссе или быстро решать сложные задачи, на выполнение которых у человека ушло бы много часов работы? По мере роста возможностей моделей и усиления интеграции ИИ в нашу жизнь изменится ли кардинально все: от проектирования домашних заданий до методов оценивания?

Эти выводы вносят вклад в текущие дискуссии среди преподавателей, администраторов и политиков о том, как мы можем гарантировать, что ИИ углубляет, а не подрывает обучение. Дальнейшие исследования помогут нам лучше понять, как и студенты, и преподаватели используют ИИ, каковы связи с результатами обучения и каковы долгосрочные последствия для будущего образования.

Подход Anthropic к образованию

В дополнение к этому отчету об образовании мы сотрудничаем с университетами, чтобы лучше понять роль ИИ в образовании. В качестве первого шага мы экспериментируем с режимом обучения (Learning Mode), в котором упор делается на сократический метод и понимание концепций, а не на прямые ответы. Мы с нетерпением ждем возможности сотрудничать с университетами в будущих исследованиях и более детально изучать влияние ИИ на обучение.

Bibtex

Если вы хотите сослаться на эту публикацию, вы можете использовать следующий ключ Bibtex:

@online{handa2025education,
author = {Kunal Handa and Drew Bent and Alex Tamkin and Miles McCain and Esin Durmus and Michael Stern and Mike Schiraldi and Saffron Huang and Stuart Ritchie and Steven Syverud and Kamya Jagadish and Margaret Vo and Matt Bell and Deep Ganguli},
title = {Anthropic Education Report: How University Students Use Claude},
date = {2025-04-08},
year = {2025},
url = {https://www.anthropic.com/news/anthropic-education-report-how-university-students-use-claude},
}

Благодарности

Кунал Ханда (Kunal Handa)* и Дрю Бент (Drew Bent)* разработали и провели эксперименты, создали иллюстрации и написали текст блога. Алекс Тамкин (Alex Tamkin) предложил первоначальные эксперименты и предоставил детальные указания и отзывы. Майлз Маккейн (Miles McCain) доработал техническую инфраструктуру, необходимую для всех экспериментов. Эсин Дурмус (Esin Durmus), Майкл Стерн (Michael Stern), Майк Ширальди (Mike Schiraldi), Сафрон Хуан (Saffron Huang), Стюарт Ричи (Stuart Ritchie), Стивен Сиверуд (Steven Syverud) и Камя Джагадиш (Kamya Jagadish) предоставили ценные отзывы и приняли участие в обсуждении. Маргарет Во (Margaret Vo), Мэтт Белл (Matt Bell) и Дип Гангули (Deep Ganguli) оказывали детальное руководство, организационную поддержку и обратную связь на протяжении всего процесса.

Кроме того, мы признательны за полезные обсуждения и комментарии Роуз Э. Ванг (Rose E. Wang), Лоренсу Холту (Laurence Holt), Майклу Трукано (Michael Trucano), Бену Корнеллу (Ben Kornell), Патрику Метвину (Patrick Methvin), Алексис Росс (Alexis Ross) и Джозефу Феллеру (Joseph Feller).