Devin AI — разоблачение от пользователей Reddit или 3 причины, почему искусственный интеллект не заменит разработчика
12 марта текущего года компания Cognition Labs представила Devin AI, первого в мире, по словам разработчиков, полностью автономного ИИ-программиста. В своем блоге Cognition написали: «Devin может планировать и выполнять сложные инженерные задачи, вспоминать соответствующий контекст на каждом этапе, учиться со временем и исправлять ошибки». Они также продемонстрировали аудитории способности ИИ на реальном примере с сайта Upwork, из-за чего в начале весны вызвали волну обсуждений и заставили программистов опасаться за свои рабочие места.
Однако, похоже, можно спокойно выдохнуть, поскольку недавно компания была обвинена во лжи. Пользователи сомневаются в работоспособности Devin AI, называя примеры из промо-видео фейками и указывая на то, что выпущенный продукт совсем не соответствует действительности.
Все началось с комментария одного из пользователей на Reddit под постом, где обсуждалась новинка в мире искусственного интеллекта — Devin AI. Сейчас сам пост уже удален, однако комментарий можно найти по ссылке.
Пользователь под ником minegen88 пишет: «Это похоже на скам. Типа на самом деле? Посмотрите на их сайт… разве они не могут использовать Devin, чтобы сделать его лучше???». Также в своем комментарии он приводит ряд доказательств, которые мы проверили и подробно разобрали.
1. Сайт Devin AI
Сайт компании Cognition выглядит, мягко говоря, не очень. Он состоит из двух страниц и на первый взгляд скорее напоминает работу студента, который только изучает основы web-разработки. Но, внешний вид — вещь субъективная, поэтому давайте разберемся, что же находится «под капотом».
Первое, что бросается в глаза при открытии devtools — все сделано на Webflow, конструкторе для лендингов. А блог, который на сайте компании тоже есть, на самом деле является статичной страничкой. Действительно, имея под рукой ИИ, который заточен именно под разработку, почему Cognition не могли использовать Devin AI и создать с его помощью хорошее web-приложение?
К сайту с самим Devin AI у пользователей тоже появились вопросы. Интерфейс, который изображен в промо-видео не соответствует реальному. Более того, протестировать технологию пока тоже не получится. Можно лишь запросить доступ, оставив свою электронную почту.
Также пользователи Reddit с помощью React Developer Tools успели выяснить, что первое время сайт и вовсе работал в dev-моде. Благодаря dev-моду можно получать сообщения об ошибках и предупреждениях прямо в консоль, однако страдает производительность и размер бандла больше, чем в production-моде. Стоит упомянуть о том, что на сегодняшний день, даже если такая проблема и была в первые дни запуска, разработчики (а может и сам Devin AI) уже все давно пофиксили.
2. Несостыковки в промо-роликах
Раз возможности протестировать Devin AI у простых пользователей пока нет, давайте подробнее разберем видеоролики от Cognition с демонстрацией работы ИИ.
Начнем с промо-ролика, который завирусился больше всего и вызвал в среде разработчиков определенный ажиотаж. В нем Девин решает задание с Upwork и справляется с ним, доказывая, что ИИ вскоре сможет заменить человека даже в комплексных задачах. Однако, внимательный зритель может заметить, что задание для ИИ было выбрано неслучайно (см. на поиск на видео — таймкод 3:48), скорее всего для того, чтобы выставить Девина в самом выгодном свете. Ничего страшного, конечно, это вполне распространенная практика. Однако тогда странно, что ИИ подается пользователю как «AI-программист, способный выполнить любую задачу».
На англоязычном ютубе уже можно найти несколько разоблачений. Одно из них — с канала Internet of Bugs. В нем программист с 35-летним опытом в разработке по имени Карл подробно разбирает промо-видео и находит в нем множество несостыковок и пробелов. Например, оказалось, что Davin AI сначала создает файлы, которых изначально не было в репозитории задания с Upwork, а потом сам же находит в них ошибки и занимается их исправлением. У человека, который не вникал в код, показанный в промо-роликах, создается впечатление, что Девин способен искать ошибки в файлах, которые были ему предоставлены. Однако примеров исправления кода, который бы действительно существовал в репозитории, а не того, что был придуман в процессе самим ИИ, нам так и не показали.
3. Умалчивание неудобных фактов
Давайте посмотрим на то, сколько времени Devin AI понадобилось на то, чтобы выполнить все ту же задачу с Upwork. Первое сообщение для уточнения задачи было отправлено в 15:24. Последнее сообщение с ревью финального результата — в 21:41. Как итог — работа Девина над задачей заняла чуть больше, чем 6 часов. Опытный разработчик, в свою очередь, справился с точно такой же задачей примерно за полчаса (https://youtu.be/tNmgmwEtoWE? t=1095&si=GXy78TXkYl1Lstgz).
Скриншоты из промо-ролика
Безусловно, технология достаточно новая и ждать от AI идеального результата бессмысленно. Однако ни в одном из роликов не упоминается о том, что генерация значительного объема кода занимает больше времени, чем может показаться обывателю. Создается ощущение, что вся пиар-компания Devin AI — это намеренная попытка шокировать зрителя, убедить всех в том, что искусственный интеллект развивается быстрее, чем это происходит на самом деле.
Точно такие же ошибки и несостыковки встречаются почти в каждом видеоролике, опубликованном Cognition Lab.
Итог. Останутся ли программисты без работы?
Судя по количеству мемов, которые за последнюю неделю опубликовали пользователи в социальных сетях, определенно нет. В ближайшие несколько лет такая участь программистам не грозит. Существование подобных ИИ инструментов сможет лишь ускорить выполнение рутинных задач, искать и объяснять ошибки, местами исключать человеческий фактор. Однако, с этим уже сейчас прекрасно справляются модели, которые давно находятся в открытом доступе — ChatGPT-4 Turbo или Claude-3 Opus, доступ к которым (а еще к многим другим моделям, как например Midjourney, Dalle, Gemini) можно получить через Bothub.
Мемы из социальной сети X (Twitter)
Программирование сейчас — не столько про написание кода, сколько про понимании проблемы заказчика, коммуникацию с клиентом и командой. Этого невозможно достичь, если использовать только искусственный интеллект и полностью исключить вмешательство человека.
Даже если функционал Devin AI в промо-роликах был случайно или намеренно преувеличен, технология может стать отличным помощником для разработчиков. Сомнительно, что в скором времени ИИ сможет самостоятельно решать комплексные проблемы, фиксить баги и писать идеальный код без ошибок, как было заявлено. Живого разработчика виртуальный программист заменить пока не сможет.
Расскажите, используете ли вы AI в разработке? Если да, то как часто и для каких целей?
