OpenAI приобретет Promptfoo
Ускорение тестирования безопасности и расширение возможностей оценки агентных систем в OpenAI Frontier
Мы приобретаем Promptfoo — платформу для обеспечения безопасности ИИ, которая помогает предприятиям выявлять и устранять уязвимости в системах искусственного интеллекта на этапе разработки. После закрытия сделки мы интегрируем технологии Promptfoo непосредственно вOpenAI Frontier, нашу платформу для создания и внедрения ИИ-коллег.
По мере того как компании внедряют ИИ-коллег в реальные рабочие процессы, оценка, безопасность и соответствие нормативным требованиям становятся фундаментальными условиями. Предприятиям необходимы системные инструменты для тестирования поведения агентов, выявления рисков до развертывания и ведения четкой документации для обеспечения надзора, контроля и подотчетности на постоянной основе.
Команда Promptfoo во главе с Иэном Вебстером и Майклом Д«Анджело создала мощный набор инструментов, которому доверяют более 25% компаний из списка Fortune 500, а также популярныйopen-sourceCLI и библиотеку для оценки и проведения редтиминга LLM-приложений. Мы продолжим совместно развивать проект с открытым исходным кодом, одновременно расширяя интегрированные корпоративные возможности платформы Frontier.
«Promptfoo привносит глубокий инженерный опыт в области оценки, защиты и тестирования систем ИИ на корпоративном уровне. Их работа помогает бизнесу развертывать безопасные и надежные приложения, и мы рады интегрировать эти возможности непосредственно во Frontier».
Мы намерены развивать несколько ключевых возможностей для организаций, создающих агентов на базе Frontier:
- Встроенное в платформу тестирование безопасности и надежности: Автоматизированное тестирование безопасности и средства редтиминга станут нативной частью Frontier, помогая компаниям выявлять и нейтрализовать такие риски, как инъекции промптов, джейлбрейки, утечки данных, несанкционированное использование инструментов и отклонение поведения агентов от установленных политик.
- Интеграция безопасности и оценки в процессы разработки: Frontier будет глубоко интегрирована в рабочие процессы, необходимые для раннего выявления, анализа и устранения рисков, связанных с агентами, делая безопасность базовым элементом разработки и эксплуатации корпоративных систем ИИ.
- Контроль и подотчетность: Встроенные функции отчетности и отслеживаемости помогут организациям документировать процесс тестирования, отслеживать изменения со временем и соответствовать растущим требованиям регуляторов в области управления, рисков и соответствия стандартам (GRC) для ИИ.
«Мы создали Promptfoo, потому что разработчикам требовался практичный способ защиты систем ИИ. По мере того как ИИ-агенты получают все больший доступ к реальным данным и инфраструктуре, их защита и валидация становятся сложнее и важнее, чем когда-либо. Присоединение к OpenAI позволит нам ускорить эту работу, предоставив более мощные инструменты безопасности, надежности и управления командам, разрабатывающим прикладные системы искусственного интеллекта».
Мы рады приветствовать команду Promptfoo и продолжить совместную работу над инструментами, необходимыми предприятиям для внедрения безопасного и надежного ИИ.
Завершение сделки зависит от выполнения стандартных условий закрытия.
Автор
Полный текст статьи читайте на OpenAI
