Чат-боты серьезно снижают продуктивность программистов
В последние годы работа инженера-программиста претерпела значительные изменения из-за массового распространения искусственного интеллекта. Особой популярностью среди разработчиков пользуются такие инструменты, как Cursor и GitHub Copilot, обещающие повышение продуктивности за счет автонаписания части кода и исправления ошибок. Однако в реальности оказалось, что ИИ не улучшает производительность опытных работников, а наоборот, замедляет их.
Новое исследование от некоммерческой исследовательской группы METR поставило под сомнение утверждение, что чат-боты помогают программистам. Ранее считалось, что ИИ сокращает время написания строчек кода на 24%. В реальности нейросети, наоборот, увеличивают затраченное время на кодинг на целых 19%. Выяснить это помогли 16 опытных разработчиков, участвовавших в эксперименте по решению 246 реальных задач в крупных репозиториях кода.
Причиной тому, как рассказали в METR, стало то, что программисты тратили много времени на постановку чат-ботам задач с последующим ожиданием ответов. Оказалось, человек пишет код быстрее машины. ИИ с трудом справляется с большими и сложными кодовыми базами, которые использовались в тесте.
При этом авторы исследования не ставят крест на искусственном интеллекте. Они отмечают, что чат-боты все же способны ускорить разработку, но не всегда и не во всех задачах. Тем более, что другие крупномасштабные эксперименты показывают, что нейросети все же улучшают эффективность инженеров-разработчиков. Кроме того, ИИ-инструменты не стоят на месте, поэтому текущие результаты, полученные в ходе опыта, вряд ли будут релевантны будущим. Вместе с тем и уповать на ИИ не стоит — его необходимо использовать только тогда, когда это действительно уместно.
