Представляем API для моделей GPT‑3.5 Turbo и Whisper24.04.2024 00:00

Обновление от 24 апреля 2024 г.: Название API ChatGPT было упразднено. Упоминания API ChatGPT в этом блоге относятся к API GPT‑3.5 Turbo.

Модели ChatGPT и Whisper теперь доступны в нашем API, открывая разработчикам доступ к передовым языковым возможностям (и не только для чата!) и функциям распознавания речи. Благодаря ряду комплексных оптимизаций мы снизили стоимость ChatGPT на 90% по сравнению с декабрем и теперь переносим эту экономию на пользователей API. Разработчики теперь могут использовать нашу открытую модель Whisper large-v2 в API с гораздо более высокой скоростью и экономической эффективностью. Пользователей API GPT‑3.5 ждут постоянные улучшения моделей и возможность выбора выделенной емкости для более глубокого контроля над ними. Мы также внимательно прислушались к отзывам наших разработчиков и доработали условия предоставления услуг нашего API, чтобы лучше отвечать их потребностям.

Первые пользователи API GPT-3.5 Turbo и Whisper

Snap Inc⁠., создатель Snapchat, представила на этой неделе My AI для Snapchat+. Эта экспериментальная функция работает на базе API GPT‑3.5. My AI предлагает пользователям Snapchat дружелюбный настраиваемый чат-бот прямо под рукой, который дает рекомендации и даже может за секунды написать хокку для друзей. В Snapchat, где общение и обмен сообщениями являются повседневной привычкой, насчитывается 750 миллионов активных пользователей в месяц:

Quizlet⁠ — это глобальная образовательная платформа, которую используют более 60 миллионов студентов для учебы, практики и освоения любых материалов. Quizlet сотрудничает с OpenAI последние три года, используя GPT‑3 для различных сценариев использования, включая изучение словарного запаса и практические тесты. С запуском API GPT‑3.5 Quizlet представляет Q-Chat — полностью адаптивного ИИ-репетитора, который вовлекает студентов с помощью адаптивных вопросов на основе соответствующих учебных материалов, подаваемых в увлекательной форме чата:

Instacart⁠ расширяет возможности приложения Instacart, позволяя клиентам задавать вопросы о еде и получать вдохновляющие ответы с возможностью покупки. Это решение использует ChatGPT наряду с собственными ИИ-технологиями Instacart и данными о товарах из более чем 75 000 магазинов-партнеров, помогая клиентам находить идеи для открытых целей покупок, таких как «Как приготовить классные рыбные тако?» или «Что послужит полезным обедом для моих детей?». Instacart планирует запустить функцию «Ask Instacart» в конце этого года:

Shop⁠, потребительское приложение Shopify, используется 100 миллионами покупателей для поиска и взаимодействия с любимыми товарами и брендами. API GPT‑3.5 используется для работы нового помощника по покупкам в Shop. Когда покупатели ищут товары, помощник по покупкам дает персонализированные рекомендации на основе их запросов. Новый помощник по покупкам Shop на базе ИИ упростит процесс совершения покупок в приложении, сканируя миллионы товаров, чтобы быстро найти то, что ищут покупатели, или помочь им открыть для себя что-то новенькое:

Speak⁠ — это приложение для изучения языков на базе искусственного интеллекта, нацеленное на создание наилучшего пути к беглой разговорной речи. Это самое быстрорастущее английское приложение в Южной Корее, которое уже использует Whisper API для создания нового разговорного ИИ-компаньона и быстрого выхода на мировой рынок. Точность Whisper человеческого уровня для изучающих язык любого уровня открывает возможности для настоящей практики разговорной речи в свободном формате и получения высокоточной обратной связи:

API GPT-3.5

Модель: Семейство моделей ChatGPT, которое мы выпускаем сегодня, gpt-3.5-turbo, представляет собой ту же модель, которая используется в продукте ChatGPT. Она стоит 0,002 долл. США за 1 тыс. токенов, что в 10 раз дешевле наших существующих моделей GPT‑3.5. Это также наша лучшая модель для многих сценариев использования, не связанных с чатом — мы видели, как ранние тестировщики переходили с text-davinci-003 на gpt-3.5-turbo, причем для этого потребовалось лишь минимально скорректировать промпты.

API: Традиционно модели GPT потребляют неструктурированный текст, который представляется модели в виде последовательности «токенов». Модели ChatGPT вместо этого потребляют последовательность сообщений вместе с метаданными. (Для любопытных: «под капотом» входные данные по-прежнему передаются модели в виде последовательности «токенов»; необработанный формат, используемый моделью, представляет собой новый формат под названием Chat Markup Language⁠ («ChatML»).)

Мы создали новую конечную точку для взаимодействия с нашими моделями ChatGPT:

Чтобы узнать больше об API GPT‑3.5, посетите наше руководство по чату⁠.

Обновления ChatGPT

Мы постоянно совершенствуем наши модели ChatGPT и хотим сделать эти улучшения доступными и для разработчиков. Разработчики, использующие модель gpt-3.5-turbo, всегда будут получать нашу рекомендованную стабильную модель, сохраняя при этом гибкость выбора конкретной версии модели. Например, сегодня мы выпускаем gpt-3.5-turbo-0301, которая будет поддерживаться по меньшей мере до 1 июня, а в апреле мы обновим gpt-3.5-turbo до нового стабильного релиза. Информация об обновлениях при переходе будет публиковаться на странице моделей⁠.

Выделенные экземпляры

Мы также предлагаем выделенные экземпляры для пользователей, которым нужен более глубокий контроль над конкретной версией модели и производительностью системы. По умолчанию запросы выполняются на вычислительной инфраструктуре, разделяемой с другими пользователями, которые платятот за каждый запрос. Наш API работает на базе Azure, и с выделенными экземплярами разработчики будут платить за период времени за выделение вычислительной инфраструктуры, зарезервированной для обработки их запросов.

Разработчики получают полный контроль над нагрузкой экземпляра (более высокая нагрузка повышает пропускную способность, но замедляет обработку каждого запроса), возможность включать такие функции, как увеличенные лимиты контекста, а также возможность закреплять снимок модели.

Выделенные экземпляры могут быть экономически выгодны для разработчиков, обрабатывающих более ~450 млн токенов в день. Кроме того, это позволяет напрямую оптимизировать рабочую нагрузку разработчика под производительность оборудования, что может существенно снизить затраты по сравнению с разделяемой инфраструктурой. По вопросам приобретения выделенных экземпляров свяжитесь с нами⁠.

API Whisper

Whisper⁠, модель преобразования речи в текст, открытую нами в сентябре 2022 года, получила огромную похвалу от сообщества разработчиков, но ее также может быть сложно запускать. Теперь мы сделали модель large-v2 доступной через наш API, что обеспечивает удобный доступ по требованию по цене 0,006 долл. США за минуту. Кроме того, наш высокооптимизированный стек обслуживания обеспечивает более высокую производительность по сравнению с другими сервисами.

API Whisper доступен через наши конечные точки transcriptions (транскрипция на исходном языке) или translations (транскрипция на английский язык) и поддерживает различные форматы (m4a, mp3, mp4, mpeg, mpga, wav, webm):

Чтобы узнать больше об API Whisper, посетите наше руководство по распознаванию речи⁠.

В центре внимания — разработчики

За последние шесть месяцев мы собирали отзывы от наших клиентов API, чтобы понять, как мы можем лучше обслуживать их. Мы внесли конкретные изменения, такие как:

• Данные, отправляемые через API, больше не используются для улучшения сервисов (включая обучение моделей), если организация явно не выразит на это согласие
• Внедрение политики хранения данных по умолчанию в течение 30 дней для пользователей API с возможностью более строгого хранения в зависимости от потребностей пользователя.
• Отмена предварительной проверки перед запуском (стало возможным благодаря улучшению нашего автоматизированного мониторинга)
• Улучшение документации для разработчиков
• Упрощение наших Условий предоставления услуг и Политического руководства по использованию⁠, включая положения о владении данными: пользователи владеют входными и выходными данными моделей.

В течение последних двух месяцев показатель доступности (аптайм) не оправдал ни наших собственных ожиданий, ни ожиданий наших пользователей. Главным приоритетом нашей инженерной команды теперь является стабильность продакшн-сценариев использования — мы понимаем, что обеспечение того, чтобы ИИ приносил пользу всему человечеству, требует быть надежным поставщиком услуг. Пожалуйста, спрашивайте с нас за улучшение аптайма в предстоящие месяцы!

Мы верим, что ИИ может предоставить невероятные возможности и экономическую независимость каждому, и лучший способ достичь этого — позволить каждому создавать решения на его основе. Мы надеемся, что объявленные нами сегодня изменения приведут к появлению множества приложений, от которых выиграет каждый. Начните создавать приложения нового поколения на базе ChatGPT и Whisper.

Jeff Belgum, Jake Berdine, Trevor Cai, Alexander Carney, Brooke Chan, Che Chang, Derek Chen, Ruby Chen, Aidan Clark, Thomas Degry, Steve Dowling, Sheila Dunning, Liam Fedus, Vik Goel, Scott Gray, Aurelia Guy, Jeff Harris, Peter Hoeschele, Angela Jiang, Denny Jin, Jong Wook Kim, Yongjik Kim, Michael Lampe, Daniel Levy, Brad Lightcap, Patricia Lue, Bianca Martin, Christine McLeavey, Luke Metz, Andrey Mishchenko, Vinnie Monaco, Evan Morikawa, Mira Murati, Rohan Nuttall, Alex Paino, Ashley Pantuliano, Mikhail Pavlov, Andrew Peng, Henrique Ponde de Oliveira Pinto, Alec Radford, Kendra Rimbach, Aliisa Rosenthal, Nick Ryder, Ted Sanders, Heather Schmidt, John Schulman, Zarina Stanik, Felipe Such, Nick Turley, Carroll Wainwright, Peter Welinder, Clemens Winter, Sherwin Wu, Tao Xu, Qiming Yuan, Barret Zoph