Оценка способности ИИ решать задачи научных исследований16.12.2025 09:00

Умение рассуждать лежит в основе научной работы. Помимо простого воспроизведения фактов, ученые генерируют гипотезы, тестируют и дорабатывают их, а также синтезируют идеи из разных областей. По мере того как наши модели становятся все более способными, главный вопрос заключается в том, как они могут применять глубокие рассуждения для внесения вклада в научные исследования.

За последний год наши модели достигли важнейших рубежей, включая завоевание медалей высшей пробы на Международной математической олимпиаде и Международной олимпиаде по информатике. Параллельно мы начинаем замечать, как наши самые мощные модели, такие как GPT‑5, существенно ускоряют реальные научные рабочие процессы. Исследователи используют эти системы для таких задач, как поиск литературы по разным дисциплинам и языкам, а также для проработки сложных математических доказательств. Во многих случаях модель сокращает работу, которая могла бы занять дни или недели, до нескольких часов. Этот прогресс задокументирован в нашей статье Ранние эксперименты по ускорению науки с помощью GPT‑5⁠, опубликованной в ноябре 2025 года, которая представляет первые свидетельства того, что GPT‑5 способна заметно ускорить научные рабочие процессы.

Поскольку ускорение научного прогресса — одна из наиболее перспективных возможностей применения ИИ на благо человечества, мы совершенствуем наши модели в решении сложных математических и научных задач, а также работаем над инструментами, которые помогут ученым извлекать из них максимум пользы.

Когда в ноябре 2023 года был выпущен GPQA⁠ — «защищенный от Google» научный бенчмарк, состоящий из вопросов, составленных экспертами со степенями PhD, — GPT‑4 набрала 39%, что ниже экспертного базового уровня в 70%. Два года спустя GPT‑5.2 набрала 92%. По мере того как возможности моделей в области рассуждений и работы со знаниями продолжают расти, создание более сложных бенчмарков становится критически важным для измерения и прогнозирования способности моделей ускорять научные исследования. Предыдущие научные бенчмарки в основном сфокусированы на вопросах с выбором ответа, уже насыщены или не имеют четкого фокуса на науке.

Чтобы преодолеть этот разрыв, мы представляем FrontierScience — новый бенчмарк, созданный для измерения научных возможностей экспертного уровня. Бенчмарк FrontierScience написан и проверен экспертами в области физики, химии и биологии и состоит из сотен сложных, оригинальных и значимых вопросов. FrontierScience включает два направления вопросов: «Олимпиада» (Olympiad), оценивающая навыки научного рассуждения олимпиадного типа, и «Исследования» (Research), измеряющие способности к реальным научным исследованиям. Предоставление более глубокого понимания научных возможностей моделей помогает нам отслеживать прогресс и продвигать науку, ускоренную с помощью ИИ.

В наших первичных оценках GPT‑5.2 оказалась нашей лучшей моделью в тестах FrontierScience-Olympiad (набрав 77%) и Research (набрав 25%), опередив другие передовые модели. Мы наблюдаем значительный прогресс в решении экспертных задач, при этом сохраняется потенциал для дальнейшего роста, особенно в открытых задачах исследовательского типа. Для ученых это означает, что текущие модели уже способны поддерживать те части исследований, которые требуют структурированных рассуждений, но в то же время подчеркивает, что предстоит проделать значительную работу по улучшению их способности к творческому мышлению открытого типа. Эти результаты согласуются с тем, как ученые уже используют современные модели: для ускорения рабочих процессов, полагаясь при этом на человеческое суждение при постановке задач и валидации, а также все чаще для поиска идей и связей, на обнаружение которых в противном случае ушло бы гораздо больше времени, включая в некоторых случаях генерацию новых инсайтов, которые эксперты затем оценивают и проверяют.

В конечном счете, важнейшим бенчмарком научных возможностей ИИ являются новые открытия, которым он помогает способствовать; именно это имеет решающее значение для науки и общества. FrontierScience находится на более раннем этапе цепочки. Этот бенчмарк служит ориентиром для научных рассуждений экспертного уровня, позволяя тестировать модели на стандартизированном наборе вопросов, видеть их сильные и слабые стороны и определять направления для улучшений. FrontierScience носит специализированный характер и имеет ограничения в ключевых аспектах (например, ориентация на ограниченные проблемы, написанные экспертами), поэтому он не охватывает всего, что ученые делают в своей повседневной работе. Тем не менее, научному сообществу нужны более сложные, оригинальные и содержательные научные бенчмарки, и FrontierScience делает шаг вперед в этом направлении.

Полная оценка FrontierScience охватывает более 700 текстовых вопросов (включая 160 в золотом наборе), охватывающих поддисциплины в области физики, химии и биологии. Бенчмарк состоит из олимпиадной (Olympiad) и исследовательской (Research) частей. FrontierScience-Olympiad содержит 100 вопросов, разработанных международными олимпиадными медалистами для оценки научных рассуждений в формате ограниченного краткого ответа. Олимпиадный набор был спроектирован так, чтобы содержать теоретические вопросы, не уступающие по сложности задачам на международных олимпиадах. FrontierScience-Research состоит из 60 оригинальных исследовательских подзадач, созданных учеными со степенями PhD (кандидатами наук, профессорами или постдоками) и оцениваемых по 10-балльной шкале критериев. Исследовательский набор создан для того, чтобы включать автономные многоэтапные подзадачи уровня сложности, с которыми ученый со степенью PhD может столкнуться в ходе своих исследований.

Олимпиадные вопросы были созданы в сотрудничестве с 42 бывшими международными медалистами или тренерами национальных сборных по соответствующим дисциплинам, на счету которых в общей сложности 109 олимпиадных медалей. Исследовательские вопросы были созданы в сотрудничестве с 45 квалифицированными учеными и экспертами в предметной области. Все ученые являлись соискателями ученой степени PhD, исследователями уровня постдока или профессорами. Сферы их компетенции охватывают широкий спектр специализированных и важных научных дисциплин: от квантовой электродинамики до синтетической органической химии и эволюционной биологии.

Процесс создания задач для обоих наборов включал определенный отбор против внутренних моделей OpenAI (например, отбраковывались задачи, с которыми модели успешно справлялись, поэтому мы ожидаем, что оценка будет в некоторой степени смещена против этих моделей по сравнению с другими). Мы выкладываем в открытый доступ золотой олимпиадный набор из 100 вопросов и золотой исследовательский набор из 60 вопросов, сохраняя остальные вопросы в секрете для отслеживания утечки данных.

Олимпиадный набор поддается оценке с помощью краткого ответа: либо числа, либо выражения, либо нечеткого сопоставления строк (fuzzy string match), что помогает проверить правильность. Однако такая проверка часто вступает в компромисс с выразительностью и открытым характером проблемы. Для исследовательского набора мы внедряем архитектуру оценки на основе критериев (рубрик) для более творческих задач открытого типа. Каждый вопрос включает шкалу оценки с несколькими независимыми и объективно оцениваемыми пунктами на общую сумму 10 баллов. Рубрика оценки оценивает не только точность финального ответа, но и правильность промежуточных этапов рассуждения, что позволяет проводить детальный анализ производительности и ошибок модели. Решение считается «верным», если оно набирает не менее 7 из 10 баллов по рубрике.

Ответы оцениваются моделью-экзаменатором (GPT‑5) на основе либо короткого ответа, либо критериев рубрики. И хотя в идеале мы бы хотели привлекать экспертов-людей для оценки каждого ответа, такой подход не масштабируем, поэтому мы разработали рубрику так, чтобы ее мог проверять оценщик на базе модели. Мы разработали пайплайн верификации, чтобы гарантировать хорошую калибровку рубрик и вопросов по уровню сложности и правильности.

Автор