Безопасность ИИ-агентов станет встроенной: OpenAI поглотила стартап Promptfoo
Компания OpenAI договорилась о приобретении стартапа Promptfoo, специализирующегося на разработке инструментов для тестирования безопасности ИИ-систем на этапе их разработки. По сообщению Bloomberg, сделка направлена на снижение рисков для клиентов, внедряющих программное обеспечение на базе ИИ, и привлечение крупного бизнеса.

Источник изображения: AI
Сам стартап существует два года, базируется в Сан-Франциско и предоставляет инструменты с открытым исходным кодом (Open Source) для тестирования безопасности нейросетей, включая процедуру «красной команды» (red-teaming), при которой специалисты имитируют атаки на собственные продукты в процессе их разработки для обнаружения слабых мест до того, как ими воспользуются злоумышленники. Клиентами стартапа являются примерно 25% компаний из списка Fortune 500.
Технологии Promptfoo будут интегрированы в корпоративную платформу OpenAI Frontier. После интеграции Frontier получит возможности автоматизированного тестирования, мониторинга изменений и отслеживания результатов проверок для соответствия требованиям безопасности.
Управляющий директор венчурной компании Insight Partners Ганеш Белл (Ganesh Bell), которая возглавила раунд финансирования Promptfoo на сумму $18,4 млн в прошлом году, отметил, что »покупка свидетельствует о явной приверженности компанией OpenAI создания корпоративного ИИ, который будет не только мощным, но и безопасным, и надёжным при масштабировании». Финансовые условия сделки не раскрываются.
OpenAI продолжит развивать открытый исходный код Promptfoo параллельно с коммерческой интеграцией и уже начала внедрять функции безопасности в свои продукты, представив на прошлой неделе ИИ-агента для поиска и устранения уязвимостей в базах данных, аналогичного инструменту Anthropic PBC.
3DNews прочитано 962 раза
