Представляем новые функции корпоративного уровня для пользователей API23.04.2024 00:00

Мы работаем со многими крупными компаниями, такими как Klarna⁠, Morgan Stanley⁠, Oscar⁠, Salesforce⁠ и Wix⁠, помогая им создавать ИИ-решения с нуля и безопасно развертывать искусственный интеллект в своих организациях и продуктах. Мы расширяем поддержку корпоративных клиентов, предлагая новые функции, которые будут полезны как крупному бизнесу, так и любым разработчикам, быстро масштабирующим свои проекты на нашей платформе.

Улучшенная безопасность корпоративного уровня

Мы представили Private Link — новый способ обеспечения прямой связи между Azure и OpenAI при минимальном взаимодействии с открытым интернетом. Мы также выпустили встроенную многофакторную аутентификацию⁠ (MFA), которая помогает обеспечить соответствие возрастающим требованиям к контролю доступа. Эти функции пополнили наш существующий стек корпоративных средств безопасности⁠, включая сертификацию SOC 2 Type II, единый вход (SSO), шифрование данных в состоянии покоя (AES-256) и при передаче (TLS 1.2), а также управление доступом на основе ролей. Мы также предлагаем соглашения о бизнес-партнерстве (BAA)⁠ для медицинских компаний, которым требуется соблюдение стандарта HIPAA, и политику нулевого хранения данных для клиентов API с соответствующими сценариями использования.

Улучшенный административный контроль

Благодаря нашей новой функции Проекты⁠ организации получат более детальный контроль и надзор за отдельными проектами в OpenAI. Это включает в себя возможность ограничить роли и ключи API конкретными проектами, разрешить или запретить использование определенных моделей, а также установить лимиты на использование и частоту запросов для регулирования доступа и предотвращения непредвиденных перерасходов. Владельцы проектов также смогут создавать ключи API для сервисных аккаунтов, которые предоставляют доступ к проектам, не будучи привязанными к конкретному пользователю.

Улучшения в Assistants API

Мы внесли ряд обновлений в Assistants API, направленных на повышение точности поиска, обеспечение гибкости поведения моделей и используемых для выполнения задач инструментов, а также на лучший контроль расходов. Эти функции включают:

• Улучшенный поиск с помощью функции «file_search», которая теперь может обрабатывать до 10 000 файлов на одного ассистента — это в 500 раз больше прежнего лимита в 20 файлов. Инструмент стал работать быстрее, поддерживает параллельные запросы посредством многопоточного поиска, а также обладает улучшенными возможностями переранжирования и переписывания запросов.
• Поддержка потоковой передачи для получения ответов в реальном времени в формате диалога — это был один из самых популярных запросов от разработчиков и предприятий.
  Новые объекты «vector_store» в API, позволяющие добавлять файлы в векторное хранилище с их последующим автоматическим разбором, разделением на фрагменты и внедрением (эмбеддингом) для подготовки к поисковому запросу. Векторные хранилища можно использовать в разных ассистентах и ветках диалогов, что упрощает управление файлами и выставление счетов.
• Контроль максимального количества токенов, используемых за один запуск, а также ограничение на количество предыдущих и недавних сообщений, задействованных в каждом запуске, что позволяет управлять затратами на токены.
  Новый параметр «tool_choice» для выбора конкретного инструмента (например, «file_search», «code_interpreter» или «function») при определенном запускe.
• Поддержка дообученных (fine-tuned) моделей GPT-3.5 Turbo в API (на начальном этапе мы поддерживаем дообучение для «gpt-3.5-turbo-0125»).

Дополнительные возможности управления расходами

Чтобы помочь организациям масштабировать использование ИИ без выхода за рамки бюджета, мы добавили два новых способа снижения затрат при регулярных и асинхронных рабочих нагрузках:

• Скидки при резервировании пропускной способности: Клиенты с постоянным уровнем использования токенов в минуту (TPM) для GPT-4 или GPT-4 Turbo могут запросить доступ к гарантированной пропускной способности (provisioned throughput) и получить скидки от 10% до 50% в зависимости от объема обязательств.
• Снижение затрат на асинхронные рабочие нагрузки: Клиенты могут использовать наш новый Batch API⁠ для выполнения не срочных задач в асинхронном режиме. Запросы через Batch API стоят на 50% дешевле стандартных цен, предлагают гораздо более высокие лимиты частоты запросов и возвращают результаты в течение 24 часов. Это идеальное решение для таких сценариев, как оценка моделей, автономная классификация, суммаризация и генерация синтетических данных.

Мы планируем и дальше добавлять новые функции, ориентированные на безопасность корпоративного уровня, административный контроль и управление затратами. Чтобы узнать больше об этих запусках, посетите нашу документацию по API⁠ или свяжитесь с нашей командой⁠, чтобы обсудить индивидуальные решения для вашего бизнеса.

Связанные исследования