Amazon предостерегла своих инженеров от «токенмаксинга» в новых правилах работы с ИИ
- Amazon назвала расход токенов, внедрение ИИ и объём изменений в коде ошибочными критериями оценки инженеров.
- В записке руководителям поручено изучить 10% команд с наименьшим внедрением ИИ и проверить результаты 10% лидеров.
- Компания сообщила, что команды, активнее применяющие ИИ, показывают более высокую продуктивность и результативность.
Почему это важно: Amazon предупреждает, что превращение метрик в цели может увеличить затраты и сложность.
Amazon заявляет, что расход токенов, уровень внедрения ИИ-инструментов и количество изменений в коде — «глубоко ошибочные» способы оценивать работу инженеров с ИИ. Компания опубликовала это предупреждение во вторник в служебной записке против токенмаксинга. Вместе с ней вышло обновлённое руководство по роли инженеров-разработчиков программного обеспечения.
Записку подписал Терк Терковиц, вице-президент и заслуженный инженер подразделения Worldwide Amazon Stores. Впервые Amazon разослала её сотрудникам в сентябре, сообщает CNBC.
«Если ваша работа не выигрывает от нынешних ИИ-инструментов, это вывод, а не провал». Терк Терковиц, Amazon
Показатели, а не цели
Согласно записке, Amazon использовала входные метрики, такие как расход токенов и внедрение ИИ-инструментов. Также подсчитывались изменения в коде и ревью. Если команды будут воспринимать эти цифры как цели, а не как показатели, затраты и сложность могут вырасти, говорится в записке.
В записке это объясняется через принципы лидерства Amazon. В ней говорится, что «токенмаксинг противоречит бережливости», а подсчёт строк кода идёт вразрез с принципом «изобретай и упрощай».
Токенмаксинг — это практика максимально активного использования ИИ без особого внимания к результату. В мае Amazon закрыла внутренний рейтинг, обнаружив, что сотрудники прибегали к токенмаксингу, чтобы подняться в нём выше, сообщает CNBC. Представитель Amazon сказал CNBC, что компания не ограничивала расход токенов сотрудниками.
Amazon отслеживала использование ИИ инженерами, потребление токенов и количество строк кода, а некоторые команды ранжировала с помощью рейтингов, сообщает Business Insider. По данным издания, эти программы вызывали трения среди части сотрудников.
ИИ остаётся в центре
Записка не призывает инженеров отказаться от метрик. В ней говорится, что они хорошо коррелируют с действительно важными результатами и что инженерам следует пользоваться ими «осторожно и взвешенно».
Команды, которые активнее всех взяли ИИ на вооружение — Amazon называет их передовыми, — демонстрируют более высокую продуктивность и результативность, говорится в записке. Команды и отдельные сотрудники, не внедряющие ИИ, отстают.
Записка предписывает руководителям изучить 10% команд с самым низким уровнем внедрения ИИ и выяснить причины. Также им следует проверить, действительно ли 10% лидеров добиваются соответственно больших результатов.
Amazon ожидает, что руководители сами будут применять эти инструменты в рабочих задачах. Они должны уметь описать одну задачу, где ИИ помог, и одну, где не помог.
«Мы уверены: какими бы ни оказались лучшие практики будущего, ИИ будет в центре практики разработки программного обеспечения». Amazon, в записке
Марк Брукер — вице-президент и заслуженный инженер Amazon Web Services. Он рассказал CNBC, что Amazon рассматривала такие показатели, как «скорость выпуска функций». Сюда входит количество запусков у команд и число успешных изменений, попавших в продакшн.
«Чего мы не хотим видеть, так это напрасных усилий, когда мы тратим токены на решение неважных задач». Марк Брукер, AWS, в интервью CNBC
Другие компании в этом году тоже приняли меры в отношении расходов на ИИ. В августе Microsoft ввела бюджеты на ИИ на уровне подразделений, а технический директор Uber заявил, что эра токенмаксинга подходит к концу. В этом месяце Accenture ограничила расходы сотрудников на Claude суммой 29 долларов в месяц, сообщает 404 Media.
