State of DevOps 2024. Туда и обратно. Часть 2: Искусственный интеллект
Всем привет, с вами Сергей Задорожный, руководитель отдела платформенных решений банка «Центр-инвест» и один из авторов курса «DevOps для эксплуатации и разработки» от Яндекс Практикума.
Сегодня продолжаем разбирать отчёт State of DevOps 2024. В прошлой статье мы обсудили DORA-метрики, а в этой обсудим искусственный интеллект. Пока он ещё не созрел (но это не точно), чтобы самостоятельно писать на Хабр обзоры про себя и отвечать на комментарии…
Первая часть обзора: State of DevOps 2024. Туда и обратно: 1. DORA-метрики и элитность
Оригинальное исследование State of DevOps и напоминашка по респондентам: в 2024 году в опросе приняли участие 3000 специалистов из трёх ключевых отраслей. IT-технологии — 36%, финтех — 16%, ритейл — 9%. Из них: разработчики — 29%, менеджеры — 23%, руководители высшего звена — 9%. Опыт работы — 10—25 лет, медиана — 16 лет.
В этот раз искусственному интеллекту посвящено аж 30 страниц по сравнению с всего одной в прошлом State of DevOps, и это примерно четверть всего отчёта. Влияние ИИ всё больше и больше. ИИ влияет на процессы разработки, на сами продукты и приоритеты организации в целом. 81% опрошенных заявили, что их компании изменили свои приоритеты в сторону внедрения искусственного интеллекта.
Что ж, глянем исследование. Начнём с того, что 75,9% респондентов в той или иной мере полагаются на ИИ. И по собственной оценке, более 70% респондентов повысили свою эффективность с помощью нейросетей.
Изменения в продуктивности. Короткий перевод построчно: 1. Продуктивность возросла значительно. 2. Средне. 3. Незначительно. 4. Ничего не поменялось. 5, 6, 7. Продуктивность снизилась
ИИ уже становится таким же важным инструментом разработчика, как и Google. Самые частые задачи, которые хотя бы частично решают с помощью нейросетей: написание кода, обобщение информации, объяснение и оптимизация кода.
Задачи, решаемые с использованием AI
В основном разработчики используют:
чат-боты — 78,2%,
внешние веб-интерфейсы — 73,9%,
инструменты ИИ в IDE — 72,9%,
внутренние веб-интерфейсы — 58,1%,
CI/CD-пайплайны — 50,2%.
Я в основном пользуюсь тележным ботом ChatGPT, официальным приложением и веб-версией ChatGPT, Perplexity и ещё плагинами в IDE. Из плагинов не нравится, что у них нет полного понимания всего проекта.
Когда-то ещё пробовал играться с AutoGPT, пытался генерить проекты на Spring Boot. Ещё ради прикола, пока читал книжку Лизы Райс «Изучаем eBPF», пробовал наколдовать код, но тоже увы. Внешне было очень похоже на правду, но ИИ ходил по кругу, пытаясь исправить ошибки.
В общем, пока кодогенерация точечная и что-то готовое или сложное создать вряд ли выйдет. Кстати, а ещё я заметил, что ИИ умудряется врать и при резюмировании информации.
Доверие к сгенерированному коду. Сверху вниз: 1. Безоговорочно доверяю. 2. Во многом доверяю. 3. Сомнительно, но окей. 4. Чуть-чуть доверяю. 5. Вообще не доверяю
87,9% в какой-то степени доверяют, но действительно сильно доверяют всего лишь 10%. Это чем-то похоже на StackOverflow, где ты копипастишь кусок кода (главное, из ответа), но потом всё равно перепроверяешь.
Компании не слишком обеспокоены этим благодаря существующим процессам проверки качества кода.
Основная гипотеза в исследовании DORA: полностью точный код не обязателен, частично правильный, который можно доработать, приемлем и ценен.
Прогнозы от внедрения ИИ в будущем
ИИ уже прилично повлиял на работу разработчиков, и эта тенденция, похоже, будет усиливаться. Сейчас опыт использования ИИ оценивают положительно, но прогнозы на будущее не такие оптимистичные.
В ближайшие годы респонденты рассчитывают, что ИИ повысит качество продуктов, однако через пять лет ожидают, что использование ИИ может негативно сказаться на карьере, окружающей среде и обществе.
Ожидаемые негативные последствия ИИ. Слева направо: 1. Качество продукта. 2. Скорость разработки. 3. Эффективность организации. 4. Карьера. 5. Общество. 6. Окружающая среда
СюрпризыПо прогнозам респондентов, ИИ негативно повлияет на карьеру, общество и окружающую среду.
ИИ значительно увеличивает энергопотребление, более 30% опрошенных считают, что он вреден для окружающей среды.
В отчёте влияние на карьеру и общество сильно не раскрывается, но в целом: кто-то считает, что ИИ усилит возможности людей, кто-то боится, что он заменит человека, кто-то боится, что приведёт к хаосу и восстанию машин.
Я считаю, что ИИ не заменит человека, но человек с ИИ заменит человека, который пользуется только своим интеллектом и не пользуется искусственным. Надо использовать оба. Пользоваться искусственным неосознанно — тоже плохо.
Далее в исследовании идут прогнозы. Например, что если увеличить использование ИИ на 25%? Как это повлияет на сотрудников?
Что поменяется, если работник увеличит использование ИИ на 25%. Сверху вниз: 1. Воркфлоу. 2. Удовлетворение. 3. Продуктивность. 4. Время, затрачиваемое на утомительную работу. 5. Выгорание. 6. Время, затрачиваемое на ценную работу
СюрпризыВнедрение ИИ высвободит время для ценной работы, автоматизируя рутинные задачи. При этом данные показывают, что время выполнения ценной работы может, наоборот, уменьшаться.
Время на утомительную работу остаётся неизменным, а показатели благополучия растут независимо от уменьшения времени на ценную работу.
Гипотеза от DORA: ИИ увеличивает продуктивность, помогая быстрее завершать ценную работу. Из-за это возникает вакуум — дополнительное время, которое не заполняется чем-то ценным. Далее в отчёте рассуждают, что такое вообще ценная работа.
Ценная работа для респондентов — это задачи, связанные с разработкой (программирование), а утомительная — организационная координация (совещания и созвончики).
Ирина НиколаеваРуководитель R«n"D & ML направления, Raft Digital Solutions
Я могу догадаться, что проверялась гипотеза именно на разработчиках. Контрпример: у руководителя пять звонков за день на час. Для него это ценная работа, а благодаря ИИ он может получать по ней саммари. Поэтому хочется увидеть в исследовании, для кого именно этот тейк.
Выводы:
● ИИ лучше помогает с ценной работой, чем с утомительной.
● Значимость работы оценивается по её влиянию на других, а не по написанию кода. Это объясняет, почему респонденты уделяют меньше времени ценной работе, но при этом чувствуют большее удовлетворение от работы.
● ИИ упрощает и ускоряет ценную работу, но не помогает с утомительными задачами.
● Утомительная и рутинная работа и выгорание остаются неизменными.
● ИИ не ухудшил ситуацию и не повлиял негативно на благополучие респондентов.
В общем, очень неоднозначно. Я думал, что кружок с ИИ будет пересекать оба. Кстати, в созвонах ИИ тоже может помогать, делая резюме, но это не точно. Проверю как-нибудь. Если вы уже пробовали, поделитесь, зашло или нет.
Что поменяется, если увеличить использование ИИ на 25%. Сверху вниз: 1. Качество документации. 2. Качество кода. 3. Скорость код-ревью. 4. Скорость апрува. 5. Кроссфункциональное сотрудничество. 6. Технический долг. 7. Сложность кода
Влияние ИИ на процессы разработки:
ИИ часто используется для написания кода, помогая улучшить его качество и снизить сложность.
ИИ способствует рефакторингу старого кода и улучшает кодовую базу.
ИИ улучшает качество документации и ускоряет процессы ревизии и одобрения кода.
Быстрые ревизии и одобрения могут быть следствием чрезмерного доверия ИИ, что не всегда приводит к тщательным процессам.
Непонятно: качество кода и документации улучшается благодаря способности ИИ извлекать ценность из низкокачественных данных или благодаря генерации.
ИИ помогает уменьшить узкие места в процессах код-ревью и апрувов, хотя неясно, приводят ли эти улучшения к дальнейшим положительным результатам в поставке ПО.
Что поменяется, если увеличить использование ИИ на 25%. Влияние ИИ на скорость и качество поставок
СюрпризыПри увеличении внедрения ИИ на 25%:
• Delivery throughput снизится на 1.5%;,
• Delivery stability снизится на 7.2%.
Противоречит тому, что ИИ улучшает процессные показатели (качество документации, кода и др.), но ухудшает производительность доставки.
Гипотеза в исследовании: основной принцип DORA — важность небольших партий изменений — может быть забыт из-за увеличения производительности кода с помощью ИИ. Более крупные изменения медлительнее и более склонны к созданиям нестабильности.
ВыводыУлучшение процесса разработки не обязательно улучшает доставку ПО, если не соблюдать основные принципы: нужны небольшие партии изменений и надежные механизмы тестирования. В общем, по классике: деплойте быстрее и чаще.
Хотя ИИ оказывает положительное влияние на многие факторы, он не является серебрянной пулей.
Что поменяется, если увеличить использование ИИ на 25%. Влияние на эффективность. Перевод сверху вниз: 1. Эффективность организации. 2. Команды. 3. Продукта
СюрпризыПри росте внедрения ИИ на 25% продуктовая эффективность не изменилась, не коррелирует с ИИ.
Хорошая работа команд и компаний зависит от общения, обмена знаниями и культуры. ИИ помогает, но для успеха продукта также важны качественная разработка и поставка ПО. Эффект от ИИ будет заметнее со временем. Сильные команды и компании поддерживают успех продукта, но если продукт слабый, это может замедлить их развитие.
Авторы предполагают, что в дальнейшем ИИ будет все больше и больше оказывать позитивное влияние на командную продуктивность и на продукты.
Пока, похоже продукты особо не выигрывают от ИИ, ведь индустрия только привыкает и учится использовать ИИ.
ВыводыПовсеместное влияние ИИ: ИИ стал важной частью разработки ПО и других рабочих процессов. 81% организаций сдвигают приоритеты в развитие ИИ, более 75% сотрудников регулярно используют его для выполнения задач.
Преимущества: ИИ улучшает производительность, качество кода, документации и процессы ревизии. Это повышает общую эффективность команд и организаций.
Ограничения и риски: ИИ может замедлить скорость поставки ПО и снизить время на выполнение ценных задач. Есть опасения о возможном негативном влиянии на карьеру, общество и окружающую среду в долгосрочной перспективе.
Доверие к ИИ: большинство сотрудников частично доверяют сгенерированному коду, но лишь 10% полностью уверены в его качестве. В основном код требует доработки.
Вопросы и мненияИИ и выгорание. Станет больше задач?
Выгорание самого ИИ: деградирует ли ИИ, потребляя данные, сгенерированные ИИ?
Увеличится скорость жизни, объём информации. Приведет ли это к выгоранию?
А как же ценная работа до написания кода?
Круги Эйлера про ценную и утомительную работу. Как компании, а не люди предполагают использовать ИИ?
ИИ поменяло и будет механику приложений переводчиков, поиска?
C ИИ покрытие документации выше (входит ли это в doc quality?)
Может ли team performance быть отделен от product performance?
Будет ли будущее как в фильме Майка Джаджа «Идиократия» или как в «Матрице»?
Чем инженер профессиональней, тем он хуже пишет документацию.
Добавление ИИ в продукт приводит к проблемам. ИИ функции сложнее тестировать.
Ирина НиколаеваРуководитель R«n"D & ML направления, Raft Digital Solutions
Под ИИ сейчас многие понимают именно технологию больших языковых моделей (Large Language Models), простой пример — это ChatGPT. Для задач анализа, генерации кода, составления саммари по звонкам и даже для написании письма вашему коллеге используют именно LLM. Безусловно, LLM входят в Генеративный ИИ, а тот уже в ИИ, но давайте не будем забывать, что ИИ — это отдельный большой мир со своим многообразием задач.
Качество генерации LLM растет супербыстро, у одного только OpenAI обновления моделей выходят чуть ли не каждые три месяца. А ведь есть еще и зоопарк локальных LLM моделей, над которыми работают десятки групп AI энтузиастов по всему миру. Что открывает новые возможности для использования их в своих продуктах. Но, LLM не всегда хороши, иногда проще воспользоваться классическими алгоритмами ML для решения своих задач.
LLM это инструмент, а не сверхразум. Результаты его использования будут в том числе зависеть от того, насколько хорошо вы его настроили. Чем более понятные ограничения вы даете модели, тем меньше остается на откуп ей самой, тем более качественный результат вы получаете.
Плохо пишет документацию для вашего отдела — соберите непосредственно ваши существующие документы и дообучите модель. Боитесь за утечку перс данных — используйте локальные модели у себя в ЦОД. Co-pilot подсказывает нецензурные комментарии к вашему коду — поправьте промпт.
Несмотря на то что модель из коробки может решать сразу несколько задач, хорошая имплементация и настройка все еще остаются на вашей совести. Кстати, с галлюцинациями тоже можно удачно побороться настройкой модели.
Киллер-фича LLM — human-like интерфейс: человеческим языком спросили и получили такой же читаемый ответ. Следовательно, теперь кто угодно может пользоваться моделью и понимать ее результаты. В классическом ML не всегда так: модель может отдавать метки и лейблы, интерпретация которых отдельная головная боль.
Использование на пользу себе, команде или бизнесу. Для эффективного использования ИИ определите существующий процесс и его ограничения. Оцените успех по метрикам производительности и точности, учитывая робастность моделей. Проведите тщательное тестирование с ручной валидацией ответов.
«Мы сегодня многое поняли»
ИИ становится важным инструментом в разработке, но его внедрение должно быть обдуманным и проходить с учётом влияния на стабильность процессов и экосистему, а не просто потому, что это модно и прикольно.
Мне еще нравится мем, что ИИ — это модный ребрендинг линейной алгебры :) И классический мат. аппарат может давать отличные результаты, не забываем про старую добрую статистику.
Использование ИИ может повысить продуктивность, но не заменяет человеческий контроль и внимательную доработку результатов. Пока еще индустрия учится и привыкает к использованию ИИ.
Полезняшки
Пчелы и ядерный реактор для ИИ
Microsoft будет использовать энергию АЭС для питания своего ЦОД
В «Википедии» запустили проект по удалению сгенерированных ложных статей
Deepseek: лезем в голову к GPT-модели и смотрим, как именно она рассуждает
Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models — почему до восстания машин еще далеко: модели отвечают на один простой для людей вопрос.
«Любопытный и показательный случай с участием ChatGPT» и «Не отношу себя к противникам применения ИИ, но…» — отличные примеры от Владимира Плизги про проблемы в разработке с помощью ИИ.
Телеграм-канал «Евгений Кокуйкин — Raft» — про безопасность решений на LLM и что делать, чтобы модель не сдала ваши персональные данные.
Что ж, а в следующей части мы поговорим про мою самую любимую и более приземленную тему — Platform Engineering. Всем хорошего дня!
