Распиаренный проект «Первого ИИ-программиста» Devin на деле оказался крайне неэффективным
Он смог выполнить только 15% из поставленных задач.
Сервис Devin, громко заявленный как «первый ИИ-программист», оказался бесконечно далёк от того, чтобы заменить живого разработчика. Тесты показали крайне низкий процент успеха — всего 15% выполненных задач. Это особенно разочаровывает, учитывая, что проект разрабатывался довольно долго и был запущен ещё в марте 2024 года, пройдя закрытое бета-тестирование.
Компания Cognition AI, стоящая за проектом, обещала, что Devin сможет самостоятельно писать, запускать и тестировать код, помогая программистам с различными задачами: от просмотра запросов на изменения (pull requests) и миграции кода до создания веб-приложений и даже выполнения функций личного помощника. Сервис использует Slack в качестве интерфейса и Docker для размещения необходимых инструментов, таких как терминал, браузер и редактор кода. Также предусмотрена интеграция с внешними сервисами через API.
Однако реальность оказалась суровой. Devin, несмотря на использование нескольких обученных ИИ-моделей, включая GPT-4, справился лишь с малой частью поставленных задач. Разработчики программного обеспечения, проанализировав промо-материалы Cognition AI, обнаружили не только низкую эффективность, но и критические уязвимости в безопасности. Тестирование, проведенное специалистами Answer.AI в январе 2025 года, подтвердило эти опасения. Из 20 задач Devin успешно выполнил только три: перенес данные из Notion в «Google Таблицы», создал трекер планет и написал бота для Discord на Python.
Основная проблема Devin — непредсказуемость. Даже задачи, похожие на те, с которыми он справился, могли завести его в технический тупик. Вместо того чтобы распознать фундаментальное препятствие, ИИ-программист тратил много времени на поиск невозможных решений. Несмотря на отточенный пользовательский интерфейс, низкая эффективность и стоимость подписки в $500 в месяц делают Devin нецелесообразным инструментом для разработчиков. Пока что.
