Как измерить эффективность разработки через метрики?
Участвовал в Аджайл-трансформациях в крупнейших компаниях в России (Альфа банк, МТС, Х5 retail group), с международным опытом в стартапе за рубежом.
Базовое определение эффективности — это способность достигать целей за наименьшее количество ресурсов (как временных так и денежных).
Для команд создающих продукты в условиях неопределенности и потребности достигать метрических целей продукта:
Фокусировка на создании и доставке ценности (чтобы каждый участник процесса делал действия по созданию ценности, а не просто выполнял задачи. Это дает в первую очередь постоянную приоритизацию и декомпозицию и отброс лишнего);
Нацеленность на достижение результата;
Прогнозируемость (способность прогнозировать результат по срокам, ресурсам и стоимости);
Скорость и гибкость (способность быстро тестировать новые идеи, выпускать новые решения на рынок и быстро перестраиваться);
Качество (способность создавать качественное решение работающее без сбоев).
Эффективность часто связывают с принципами Lean, так как Lean ориентирован на максимизацию ценности для клиента при минимальных затратах и устранении всего лишнего. Одним из ключевых принципов Lean является устранение всех видов потерь, которые могут возникнуть в процессе потока создания ценности.
Поток создания ценности
Описывает последовательность шагов и процессов, которые необходимы для создания конечной ценности для клиента или пользователя. И наша главная задача — покрыть поток создания ценности метриками, анализировать не только разработку, а весь поток от идеи до выхода на клиента и сбора обратной связи (сколько занимает этап, где у нас простаивает работа или теряется, а сколько времени тратиться на работу, а сколько на ожидания, какие артефакты мы делаем и зачем на каждом этапе). Все эти вопросы позволяют увидеть картину целиком.
Зачем нам что-то измерять?
Оценивать прогресс. Благодаря метрикам, мы всегда знаем, насколько мы продвинулись в достижении целей и выполнении задач и ключевых проектов.
Улучшать результативность. Отслеживать плановые и фактические показатели, улучшать точность прогнозов и качество результатов.
Повышать скорость и гибкость быстрее отказываться от ненужного, экономить время и ресурсы, доставлять ценность быстрее, ускоряя рост продуктов.
Оптимизировать процессы. Метрики помогают нам выявлять узкие места в потоке создания ценности и оптимизировать процессы.
Повышать качество работы. Оценка качества работы на основе метрик позволяет нам предотвращать ошибки и стремиться к постоянному совершенствованию. А также повышать качество продукта, который мы делаем.
Предсказывать риски. Метрики помогают нам прогнозировать возможные риски и проблемы, что позволяет нам принимать меры заранее.
Принимать обоснованные решения. Наши решения основаны на фактах и данных, а не на предположениях. Метрики предоставляют нам объективную информацию для принятия обоснованных решений.
Метрики скорости и гибкости
Метрики, ориентированные на скорость доставки ценности клиенту и гибкость производственного процесса.
Time to market (Lead time, Cycle time и Time to learn) — время от идеи до клиента;
Release frequency — частота релизов за единицу времени;
Release stabilisation period / Change failure rate — время стабилизации / количество ошибок после деплоя;
Mean time to repair — время восстановления после сбоя.
Метрики результативности
Это метрики, ориентированные на пропускную способность и прогнозируемость производственного процесса:
Запланированное/фактическое кол-во целеи;
Запланированное/фактическое кол-во фич/эпиков;
Запланированное/фактическое кол-во US (пользовательских истории);
Запланированное/фактическое кол-во Story points;
Средняя скорость — Velocity — фактическое кол-во SP за период.
Какие метрики выбрать?
Выбор метрик зависит от конкретных целей оптимизации и характера вашего бизнеса. Чтобы определить, с чего начать, следует сначала определить цели оптимизации.
Если вашей компании важна скорость и гибкость, однозначно вам нужно мерить time to market, time to learn и другие сопутствующие метрики.
Если нужна стабильность, то сделайте фокус на том, чтобы больше фокусироваться на метриках качества и предсказуемости, чтобы уметь завершать в срок.
Если важна гибкость нужно качать метрику time to learn.
Но в целом моя рекомендация — смотреть на комплекс метрик, описанных выше, так как в погоне за time to market вы можете потерять в качестве и наоборот.
Также с осторожностью относитесь к сбору метрик эффективности каждого отдельного человека, количество выполненных задач и прочее. Что не имеет отношение к результату, а дает лишь понимание, что работа делалась, но не дает ответа на вопрос, а что было сделано и насколько хо работает поток создания ценности (как в описанном примере выше).
Как использовать метрики эффективности?
Используйте метрики в бизнесе как показатели при управлении самолетом, которые используют пилоты при взлете, полете и посадке. Важны все показатели, но фокус на том или ином показатели должен быть в тот или иной момент времени. И также ответ на вопрос что оптимизировать зависит от целей оптимизации в данный момент.
Используйте метрики на ключевых каденциях — ритмах планирования и подведения результатов, на уровне спринта, квартала, года. Также приучайте команды на ретроспективах использовать метрики.
Что использовать для сбора и анализа метрик?
Мы используем российский продукт — Aimger. Он отлично подходит для сбора и анализа метрик. Aimger легко интегрируется в существующую экосистему организации, а также предоставляет поддержку в определении и внедрении правильного набора метрик.
Чтобы узнать больше об Aimger и других полезных подходах и инструментах подписывайся на мой Telegram канал.
Также хочу порекомендовать бесплатные вебинары курса Team Lead: