Вызов функций и другие обновления API13.06.2023 07:00

Обновление от 20 июля 2023 г.:

Ранее мы сообщали разработчикам, что отключение моделей gpt-3.5-turbo-0301, gpt-4-0314 и gpt-4-32k-0314 запланировано на 13 сентября 2023 года. Изучив отзывы клиентов и нашего сообщества, мы продлеваем поддержку этих моделей по меньшей мере до 13 июня 2024 года.

При выпуске новых версий моделей нашей главной задачей является сделать их более интеллектуальными во всех аспектах. Мы стремимся к улучшениям по множеству направлений, таких как следование инструкциям, фактическая точность и поведение при отказах. Например, модель gpt-4-0613, представленная в прошлом месяце, продемонстрировала значительное улучшение в вызове функций. 

Мы используем большое количество метрик оценки, чтобы определить, следует ли выпускать новую модель. Хотя большинство метрик улучшилось, в некоторых задачах производительность может ухудшиться. Именно поэтому мы позволяем пользователям API фиксировать версию модели. Например, вы можете использовать gpt-4-0314 вместо общего названия gpt-4, которое указывает на самую последнюю версию модели. Каждая отдельно зафиксированная модель является стабильной, что означает отсутствие изменений, влияющих на результаты. 

Мы упорно работаем над тем, чтобы новые версии приводили к улучшениям в широком спектре задач. Тем не менее, наша методология оценки не идеальна, и мы постоянно её совершенствуем. Один из способов помочь нам сделать новые модели лучше в важных для вас областях — внести свой вклад в библиотеку OpenAI Evals⁠, сообщив о недостатках в наших моделях.

Мы понимаем, что обновление моделей и изменение их поведения может нарушить работу ваших приложений. Мы работаем над тем, чтобы предоставить разработчикам большую стабильность и прозрачность в отношении того, как мы выпускаем и прекращаем поддержку моделей.

Ранее в этом году мы выпустили gpt-3.5-turbo и gpt-4, и всего за несколько месяцев увидели невероятные приложения⁠, созданные разработчиками на базе этих моделей.

Сегодня мы рады представить несколько интересных обновлений:

• новая функция вызова функций в API Chat Completions
• обновленные и более управляемые версии gpt-4 и gpt-3.5-turbo
• новая версия gpt-3.5-turbo с контекстом 16k (в отличие от стандартной версии на 4k)
• снижение стоимости нашей передовой модели эмбеддингов на 75%
• снижение стоимости входных токенов для gpt-3.5-turbo на 25%
• объявление графика прекращения поддержки моделей gpt-3.5-turbo-0301 и gpt-4-0314

Все эти модели обеспечивают те же гарантии конфиденциальности и безопасности данных, которые мы представили 1 марта: клиенты владеют всеми результатами, сгенерированными по их запросам, а их данные API не будут использоваться для обучения.

Вызов функций

Теперь разработчики могут описывать функции для gpt-4-0613 и gpt-3.5-turbo-0613, позволяя модели интеллектуально выбирать и выводить объект JSON, содержащий аргументы для вызова этих функций. Это новый способ более надежного связывания возможностей GPT с внешними инструментами и API.

Эти модели были дообучены как для определения необходимости вызова функции (в зависимости от ввода пользователя), так и для ответа в формате JSON, соответствующем сигнатуре функции. Вызов функций позволяет разработчикам получать более надежные структурированные данные от модели. Например, разработчики могут:

• Создавать чат-ботов, которые отвечают на вопросы путем вызова внешних инструментов (например, плагинов ChatGPT)

Преобразовывать запросы вроде «Напиши Ане и спроси, не хочет ли она выпить кофе в следующую пятницу» в вызов функции вроде send_email(to: string, body: string) или «Какая погода в Бостоне?» в get_current_weather(location: string, unit: 'celsius' | 'fahrenheit').

• Преобразовывать естественный язык в вызовы API или запросы к базам данных

Преобразовывать вопрос «Кто мои десять лучших клиентов в этом месяце?» во внутренний вызов API, такой как get_customers_by_revenue(start_date: string, end_date: string, limit: int), или «Сколько заказов компания Acme, Inc. разместила в прошлом месяце?» в SQL-запрос с использованием sql_query(query: string).

• Извлекать структурированные данные из текста

Определить функцию с именем extract_people_data(people: [{name: string, birthday: string, location: string}]) для извлечения всех людей, упомянутых в статье Википедии.

Эти варианты использования обеспечиваются новыми параметрами API в нашем эндпоинте /v1/chat/completions, functions и function_call, которые позволяют разработчикам описывать функции для модели с помощью JSON Schema и при желании запрашивать вызов определенной функции. Начните работу с нашей документацией для разработчиков⁠ и добавьте эвалы⁠, если вы обнаружите случаи, когда вызов функций можно улучшить.

С момента альфа-релиза плагинов ChatGPT мы многое узнали о том, как заставить инструменты и языковые модели безопасно работать вместе. Тем не менее, остаются нерешенные исследовательские вопросы. Например, доказательство концепции эксплойта иллюстрирует, как ненадежные данные из вывода инструмента могут дать модели указание выполнять непреднамеренные действия. Мы работаем над смягчением этих и других рисков. Разработчики могут защитить свои приложения, используя информацию только из доверенных инструментов и добавляя этапы подтверждения пользователем перед выполнением действий, имеющих реальные последствия, таких как отправка электронной почты, публикация в Интернете или совершение покупки.

Новые модели

GPT-4

gpt-4-0613 включает обновленную и улучшенную модель с возможностью вызова функций.

gpt-4-32k-0613 включает те же улучшения, что и gpt-4-0613, а также увеличенную длину контекста для лучшего понимания объемных текстов.

Благодаря этим обновлениям в ближайшие недели мы пригласим гораздо больше людей из листа ожидания⁠ попробовать GPT‑4 с целью полностью убрать лист ожидания для этой модели. Спасибо всем, кто терпеливо ждал, мы с нетерпением ждем возможности увидеть, что вы создадите с помощью GPT‑4!

GPT-3.5 Turbo

gpt-3.5-turbo-0613 включает ту же функцию вызова функций, что и GPT‑4, а также более надежную управляемость с помощью системного сообщения — две функции, которые позволяют разработчикам более эффективно направлять ответы модели.

gpt-3.5-turbo-16k предлагает в 4 раза большую длину контекста по сравнению с gpt-3.5-turbo по вдвое большей цене: $0,003 за 1 тыс. входных токенов и $0,004 за 1 тыс. выходных токенов. Контекст на 16k означает, что теперь модель может поддерживать около 20 страниц текста в рамках одного запроса.

Прекращение поддержки моделей

Сегодня мы начинаем процесс обновления и прекращения поддержки для начальных версий gpt-4 и gpt-3.5-turbo, о которых мы объявили в марте⁠. Приложения, использующие стабильные имена моделей (gpt-3.5-turbo, gpt-4 и gpt-4-32k), будут автоматически обновлены до новых моделей, перечисленных выше, 27 июня. Для сравнения производительности моделей между версиями наша библиотека Evals⁠ поддерживает публичные и частные оценки, чтобы показать, как изменения моделей повлияют на ваши сценарии использования. 

Разработчики, которым требуется больше времени на переход, могут продолжить использование старых моделей, указав gpt-3.5-turbo-0301, gpt-4-0314 или gpt-4-32k-0314 в параметре «model» своего API-запроса. Эти старые модели будут доступны до 13 июня 2024 года, после чего запросы, указывающие эти имена моделей, будут завершаться ошибкой. Вы можете следить за актуальной информацией о прекращении поддержки моделей на нашей странице прекращения поддержки моделей⁠. Это первое обновление для данных моделей, поэтому мы с нетерпением ждем отзывов разработчиков⁠, которые помогут нам обеспечить плавный переход.

Более низкие цены

Мы продолжаем повышать эффективность наших систем и передаем эту экономию разработчикам, начиная с сегодняшнего дня.

Эмбеддинги

text-embedding-ada-002 — наша самая популярная модель эмбеддингов. Сегодня мы снижаем ее стоимость на 75% — до $0,0001 за 1 тыс. токенов.

GPT-3.5 Turbo

gpt-3.5-turbo — наша самая популярная чат-модель, которая обеспечивает работу ChatGPT для миллионов пользователей. Сегодня мы снижаем стоимость входных токенов для gpt-3.5-turbo на 25%. Теперь разработчики могут использовать эту модель всего за $0,0015 за 1 тыс. входных токенов и $0,002 за 1 тыс. выходных токенов, что эквивалентно примерно 700 страницам на доллар.

Стоимость gpt-3.5-turbo-16k составит $0,003 за 1 тыс. входных токенов и $0,004 за 1 тыс. выходных токенов.

Отзывы разработчиков лежат в основе эволюции нашей платформы, и мы продолжим вносить улучшения на основе услышанных предложений. Мы с нетерпением ждем возможности увидеть, как разработчики используют эти новейшие модели и новые функции в своих приложениях.