Представляем GPT‑4.1 в API14.04.2025 10:00

Сегодня мы запускаем три новые модели в API: GPT‑4.1, GPT‑4.1 mini и GPT‑4.1 nano. Эти модели превосходят GPT‑4o и GPT‑4o mini по всем направлениям, демонстрируя значительный прирост в написании кода и следовании инструкциям. Они также обладают увеличенным контекстным окном (поддерживающим до 1 миллиона токенов контекста) и способны лучше использовать этот контекст благодаря улучшенному пониманию длинных текстов. Кроме того, в них обновлена база знаний по июнь 2024 года.

GPT‑4.1 превосходит аналоги по следующим отраслевым стандартным метрикам:

• Написание кода: GPT‑4.1 набирает 54,6% в тесте SWE-bench Verified, демонстрируя прирост на 21,4%абс. по сравнению с GPT‑4o и на 26,6%абс. по сравнению с GPT‑4.5, что делает ее ведущей моделью для программирования.
• Следование инструкциям: В бенчмарке Scale«s MultiChallenge⁠, оценивающем способность следовать инструкциям, GPT‑4.1 набирает 38,3%, что на 10,5%абс. выше результата GPT‑4o.
• Длинный контекст: В Video-MME⁠, бенчмарке для мультимодального понимания длинного контекста, GPT‑4.1 устанавливает новый рекорд — 72,0% в категории длинных видео без субтитров, что на 6,7%абс. превосходит показатели GPT‑4o.

Хотя бенчмарки дают ценные ориентиры, мы обучали эти модели с акцентом на практическую пользу в реальных условиях. Тесное сотрудничество и партнерство с сообществом разработчиков позволили нам оптимизировать эти модели для задач, которые наиболее важны в их приложениях.

В результате семейство моделей GPT‑4.1 предлагает исключительную производительность при более низкой стоимости. Эти модели выводят производительность на новый уровень в любой точке графика задержки.

GPT‑4.1 mini представляет собой значительный шаг вперед в производительности малых моделей, превосходя даже GPT‑4o во многих бенчмарках. Она соответствует или превосходит GPT‑4o по показателям интеллектуальных тестов, сокращая при этом задержку почти вдвое и снижая стоимость на 83%.

Для задач, требующих минимальной задержки, мы предлагаем GPT‑4.1 nano — нашу самую быстрые и дешевую модель. Она обеспечивает исключительную производительность при компактном размере, поддерживая контекстное окно в 1 миллион токенов, и набирает 80,1% в MMLU, 50,3% в GPQA и 9,8% в полиглотом программировании Aider, что даже выше показателей GPT‑4o mini. Она идеально подходит для таких задач, как классификация или автодополнение.

Эти улучшения в надежности следования инструкциям и понимании длинного контекста также делают модели GPT‑4.1 значительно более эффективными для работы в качестве агентов или систем, способных самостоятельно выполнять задачи от имени пользователей. В сочетании с такими примитивами, как Responses API⁠, разработчики теперь могут создавать агентов, которые более эффективны и надежны в задачах реальной разработки ПО, извлечения инсайтов из крупных документов, решения клиентских запросов с минимальным участием человека и других сложных задачах.

Обратите внимание, что GPT‑4.1 будет доступна исключительно через API. В ChatGPT многие улучшения в следовании инструкциям, написании кода и интеллектуальных возможностях были постепенно интегрированы в последнюю версию⁠ GPT‑4o, и мы продолжим внедрять новые функции в будущих релизах.

Мы также начинаем вывод из эксплуатации GPT‑4.5 Preview в API, поскольку GPT‑4.1 предлагает улучшенную или сопоставимую производительность по многим ключевым возможностям при значительно меньшей стоимости и задержке. GPT‑4.5 Preview будет отключена через три месяца, 14 июля 2025 года, чтобы дать разработчикам время на переход. Модель GPT‑4.5 была представлена в качестве исследовательской предварительной версии для изучения крупномасштабной ресурсоемкой модели, и мы извлекли много полезного из отзывов разработчиков. Мы продолжим переносить творческий потенциал, качество письма, юмор и нюансы, которые вы оценили в GPT‑4.5, в будущие модели API.

Ниже мы подробно рассказываем о том, как GPT‑4.1 показывает себя в различных бенчмарках, а также приводим примеры от альфа-тестеров, таких как Windsurf, Qodo, Hex, Blue J, Thomson Reuters и Carlyle, демонстрирующие ее работу в продакшене для специализированных задач.

GPT‑4.1 значительно превосходит GPT‑4o в самых разных задачах программирования, включая автономное решение задач кодинга, разработку интерфейсов, создание меньшего количества лишних правок, точное следование форматам diff, обеспечение стабильного использования инструментов и многое другое.

В бенчмарке SWE-bench Verified, оценивающем навыки программной инженерии в реальных условиях, GPT‑4.1 успешно справляется с 54,6% задач по сравнению с 33,2% у GPT‑4o (по состоянию на 20.11.2024). Это отражает улучшение способности модели исследовать репозиторий кода, завершать задачу и создавать код, который успешно запускается и проходит тесты.

Для API-разработчиков, работающих с редактированием крупных файлов, GPT‑4.1 демонстрирует гораздо большую надежность при создании diff-файлов кода в самых разных форматах. GPT‑4.1 более чем в два раза превосходит результат GPT‑4o в полиглотом бенчмарке diff-файлов от Aider⁠ и даже обходит GPT‑4.5 на 8%абс.Эта оценка является одновременно мерой возможностей программирования на различных языках и мерой способности модели производить изменения в полном формате и в формате diff. Мы специально обучили GPT‑4.1 более надежно следовать форматам diff, что позволяет разработчикам экономить затраты и время отклика, заставляя модель выводить только измененные строки, а не переписывать файл целиком. Для достижения наилучшей производительности при создании diff-файлов ознакомьтесь с нашим руководством по составлению промптов⁠. Для разработчиков, предпочитающих перезапись файлов целиком, мы увеличили лимит токенов вывода для GPT‑4.1 до 32 768 токенов (по сравнению с 16 384 токенами у GPT‑4o). Мы также рекомендуем использовать прогнозируемые выводы (Predicted Outputs)⁠, чтобы снизить задержку при полном перезаписывании файлов.

GPT‑4.1 также существенно превосходит GPT‑4o в фронтенд-разработке и способен создавать более функциональные и эстетичные веб-приложения. В наших прямых сравнениях платные эксперты-оценщики отдавали предпочтение сайтам GPT‑4.1 в 80% случаев по сравнению с сайтами на базе GPT‑4o.

GPT‑4.1 следует инструкциям значительно надежнее, и мы зафиксировали существенные улучшения в самых разных тестах на следование инструкциям.

Мы разработали внутренний бенчмарк для оценки следования инструкциям, чтобы отслеживать производительность модели по ряду параметров и в нескольких ключевых категориях, включая:

• Следование формату. Предоставление инструкций, определяющих пользовательский формат для ответа модели, такой как XML, YAML, Markdown и т. д.
• Запрещающие инструкции. Указание поведения, которого модель должна избегать. (Пример: «Не просите пользователя обращаться в службу поддержки»).
• Упорядоченные инструкции. Предоставление набора инструкций, которым модель должна следовать в определенном порядке. (Пример: «Сначала спросите имя пользователя, затем его электронную почту»).
• Требования к контенту. Вывод контента, содержащего определенную информацию. (Пример: «Всегда указывайте количество белка при составлении плана питания»).
• Ранжирование. Упорядочивание результатов определенным образом. (Пример: «Отсортируйте ответ по численности населения»).
• Избыточная уверенность. Указание модели отвечать «Я не знаю» или аналогичным образом, если запрашиваемая информация недоступна или запрос не попадает в заданную категорию. (Пример: «Если вы не знаете ответа, укажите адрес электронной почты службы поддержки»).

Эти категории стали результатом отзывов разработчиков о том, какие аспекты следования инструкциям являются для них наиболее актуальными и важными. Внутри каждой категории мы разделили промпты на простые, средние и сложные. GPT‑4.1 демонстрирует значительный прогресс по сравнению с GPT‑4o, особенно на сложных промптах.

Следование инструкциям в многошаговых диалогах имеет решающее значение для многих разработчиков: модели важно сохранять логическую связность на протяжении долгой беседы и отслеживать то, о чем пользователь сообщал ранее. Мы обучили GPT‑4.1 лучше извлекать информацию из прошлых сообщений в диалоге, что делает общение более естественным. Бенчмарк MultiChallenge от Scale является полезным инструментом для оценки этой возможности, и в нем GPT‑4.1 показывает результат на 10,5%abs лучше, чем GPT‑4o.

GPT‑4.1 также набирает 87,4% в IFEval по сравнению с 81,0% у GPT‑4o. В IFEval используются промпты с проверяемыми инструкциями (например, указание длины контента или избежание определенных терминов и форматов).

Более качественное следование инструкциям повышает надежность существующих приложений и открывает возможности для новых, ранее ограниченных недостаточной надежностью. Ранние тестировщики отметили, что GPT‑4.1 может быть более буквальным, поэтому мы рекомендуем формулировать промпты предельно четко и конкретно. Подробнее о передовых методах составления промптов для GPT‑4.1 см. в руководстве по промптингу.

Примеры из реального мира

Blue J⁠: GPT‑4.1 оказалась на 53% точнее GPT‑4o на внутреннем бенчмарке Blue J, состоящем из наиболее сложных реальных налоговых сценариев. Такой скачок в точности, имеющий ключевое значение как для производительности системы, так и для удовлетворенности пользователей, подчеркивает улучшенное понимание сложных нормативных актов моделью GPT‑4.1 и ее способность следовать тонким инструкциям в условиях длинного контекста. Для пользователей Blue J это означает более быстрые и надежные налоговые исследования и больше времени для высококлассной консультационной работы.

Hex⁠: GPT‑4.1 продемонстрировала почти двукратное улучшение на самом сложном наборе тестов SQL⁠ от Hex, продемонстрировав значительный прирост в следовании инструкциям и семантическом понимании. Модель оказалась надежнее при выборе правильных таблиц из больших и неоднозначных схем — это критическая точка принятия решений на раннем этапе, которая напрямую влияет на общую точность и которую трудно настроить только с помощью промптов. Для Hex это привело к измеримому сокращению объема ручной отладки и более быстрому переходу к рабочим процессам производственного уровня.

GPT‑4.1, GPT‑4.1 mini и GPT‑4.1 nano могут обрабатывать до 1 миллиона токенов контекста — по сравнению со 128 000 у предыдущих моделей GPT‑4o. 1 миллион токенов — это более 8 копий всей кодовой базы React, поэтому длинный контекст отлично подходит для обработки крупных кодовых баз или больших объемов длинных документов.

Мы обучили GPT‑4.1 надежно удерживать в фокусе информацию во всем диапазоне контекста длиной в 1 миллион токенов. Мы также сделали модель гораздо более эффективной по сравнению с GPT‑4o в обнаружении релевантного текста и игнорировании отвлекающих факторов как при большой, так и при малой длине контекста. Понимание длинного контекста — важнейшая способность для приложений в сфере права, программирования, службы поддержки и во многих других областях.

Ниже мы демонстрируем способность GPT‑4.1 находить небольшую скрытую частицу информации («иголку»), расположенную в различных точках контекстного окна. GPT‑4.1 стабильно и точно находит иголку в любых позициях и при любой длине контекста, вплоть до 1 миллиона токенов. Модель эффективно извлекает нужные детали для текущей задачи независимо от их позиции во входных данных.

Однако немногие задачи из реального мира столь же просты, как извлечение одного очевидного ответа-«иголки». Мы видим, что пользователям часто требуется, чтобы наши модели извлекали и понимали несколько фрагментов информации, а также осознавали их взаимосвязь. Чтобы продемонстрировать эту возможность, мы открываем исходный код нового бенчмарка: OpenAI-MRCR (Multi-Round Coreference).

OpenAI-MRCR проверяет способность модели находить и различать несколько хорошо спрятанных в контексте «иголок». Оценка состоит из многошаговых синтетических диалогов между пользователем и ассистентом, в которых пользователь просит написать текст на определенную тему, например «напиши стихотворение о тапирах» или «напиши пост в блог о камнях». Затем мы внедряем два, четыре или восемь идентичных запросов по всему контексту. Модель должна извлечь ответ, соответствующий конкретному экземпляру (например, «дай мне третье стихотворение о тапирах»).

Сложность заключается в сходстве между этими запросами и остальным контекстом — модели легко могут ввести в заблуждение тонкие различия, такие как короткий рассказ о тапирах вместо стихотворения или стихотворение о лягушках вместо тапиров. Мы обнаружили, что GPT‑4.1 превосходит GPT‑4o при длине контекста до 128 тыс. токенов и сохраняет высокие показатели даже при 1 миллионе токенов.

Но задача остается сложной даже для продвинутых моделей рассуждения. Мы публикуем набор данных для оценки⁠, чтобы стимулировать дальнейшую работу над поиском в длинном контексте для реальных задач.

Мы также выпускаем Graphwalks⁠ — набор данных для оценки многошаговых рассуждений в длинном контексте. Многие сценарии использования длинного контекста разработчиками требуют выполнения нескольких логических переходов внутри контекста, таких как переключение между несколькими файлами при написании кода или перекрестные ссылки на документы при ответе на сложные юридические вопросы.

Модель (или даже человек) теоретически могла бы решить проблему OpenAI-MRCR за один проход или прочтение промпта, но Graphwalks разработан так, чтобы требовать рассуждений по нескольким позициям в контексте, и не может быть решен последовательно.

Graphwalks заполняет контекстное окно ориентированным графом, состоящим из шестнадцатеричных хэшей, а затем просит модель выполнить поиск в ширину (BFS), начиная со случайного узла в графе. После этого мы просим ее вернуть все узлы на определенной глубине. GPT‑4.1 достигает 61,7% точности на этом бенчмарке, не уступая производительности o1 и уверенно превосходя GPT‑4o.

Бенчмарки не отражают всей полноты картины, поэтому мы работали с альфа-партнерами, чтобы протестировать производительность GPT‑4.1 на их реальных задачах с длинным контекстом.

Примеры из реального мира

Thomson Reuters: ⁠Thomson Reuters протестировала GPT‑4.1 с помощью CoCounsel — своего профессионального ИИ-ассистента для юридической работы. По сравнению с GPT‑4o, им удалось повысить точность проверки нескольких документов на 17% при использовании GPT‑4.1 в рамках внутренних бенчмарков длинного контекста. Это важнейший показатель способности CoCounsel справляться со сложными юридическими процессами, включающими множество объемных документов. В частности, они выяснили, что модель крайне надежно удерживает контекст из различных источников и точно выявляет тонкие взаимосвязи между документами — такие как противоречащие друг другу пункты или дополнительный контекст, что критически важно для юридического анализа и принятия решений.

Carlyle⁠: Carlyle использовала GPT‑4.1 для точного извлечения детальных финансовых данных из множества объемных документов, включая PDF-файлы, таблицы Excel и другие сложные форматы. Согласно их внутренним оценкам, модель продемонстрировала на 50% лучшие результаты при извлечении данных из очень крупных документов с высокой плотностью информации и стала первой моделью, успешно преодолевшей ключевые ограничения других доступных решений, включая поиск «иголки в стоге сена», ошибки в середине контекста (lost-in-the-middle) и многошаговые рассуждения по документам.

Помимо производительности и точности модели, разработчикам также необходимы быстрые ответы, чтобы успевать за потребностями пользователей. Мы улучшили наш стек инференса, чтобы сократить время до получения первого токена, а с помощью кэширования промптов вы можете еще сильнее снизить задержку и сэкономить средства. В ходе нашего первоначального тестирования задержка до появления первого токена для GPT‑4.1 составляла приблизительно пятнадцать секунд при контексте в 128 000 токенов и одну минуту при контексте в миллион токенов. Модели GPT‑4.1 mini и nano работают еще быстрее: например, GPT‑4.1 nano чаще всего возвращает первый токен менее чем за пять секунд для запросов со 128 000 входных токенов.

Семейство моделей GPT‑4.1 демонстрирует исключительные возможности понимания изображений, причем GPT‑4.1 mini представляет собой значительный шаг вперед, часто превосходя GPT‑4o в бенчмарках по работе с изображениями.

Производительность при работе с длинным контекстом также важна для мультимодальных сценариев использования, таких как обработка длинных видео. В Video-MME⁠ (длинные видео без субтитров) модель отвечает на вопросы с множественным выбором на основе видео продолжительностью 30–60 минут без субтитров. GPT‑4.1 достигает лучших в отрасли результатов, набирая 72.0% по сравнению с 65.3% у GPT‑4o.

Модели GPT‑4.1, GPT‑4.1 mini и GPT‑4.1 nano уже доступны всем разработчикам.

Благодаря оптимизации эффективности наших систем инференса мы смогли предложить более низкие цены на серию GPT‑4.1. GPT‑4.1 стоит на 26% дешевле, чем GPT‑4o для медианных запросов, а GPT‑4.1 nano — наша самая дешевая и быстрая модель на сегодняшний день. Для запросов, которые многократно передают один и тот же контекст, мы увеличиваем скидку на кэширование промптов до 75% (по сравнению с 50% ранее) для этих новых моделей. Наконец, мы предлагаем запросы с длинным контекстом без дополнительной платы сверх стандартных тарифов за токен.

GPT‑4.1 — это значительный шаг вперед в практическом применении искусственного интеллекта. Уделяя пристальное внимание реальным потребностям разработчиков — от написания кода до следования инструкциям и понимания длинного контекста, — эти модели открывают новые возможности для создания интеллектуальных систем и сложных агентных приложений. Мы постоянно вдохновляемся креативностью сообщества разработчиков и с нетерпением ждем возможности увидеть, что вы создадите с помощью GPT‑4.1.

Полный список результатов тестов по академическим дисциплинам, программированию, следованию инструкциям, работе с большим контекстом, визуальным данным и вызову функций представлен ниже.