Как измерить эффективность разработки через метрики?

Kate · 16 Июн 2024

Базовое определение эффективности — это способность достигать целей за наименьшее количество ресурсов (как временных так и денежных).

Для команд создающих продукты в условиях неопределенности и потребности достигать метрических целей продукта:

Фокусировка на создании и доставке ценности (чтобы каждый участник процесса делал действия по созданию ценности, а не просто выполнял задачи. Это дает в первую очередь постоянную приоритизацию и декомпозицию и отброс лишнего);
Нацеленность на достижение результата;
Прогнозируемость (способность прогнозировать результат по срокам, ресурсам и стоимости);
Скорость и гибкость (способность быстро тестировать новые идеи, выпускать новые решения на рынок и быстро перестраиваться);
Качество (способность создавать качественное решение работающее без сбоев).

Эффективность часто связывают с принципами Lean, так как Lean ориентирован на максимизацию ценности для клиента при минимальных затратах и устранении всего лишнего. Одним из ключевых принципов Lean является устранение всех видов потерь, которые могут возникнуть в процессе потока создания ценности.

Поток создания ценности

Описывает последовательность шагов и процессов, которые необходимы для создания конечной ценности для клиента или пользователя. И наша главная задача - покрыть поток создания ценности метриками, анализировать не только разработку, а весь поток от идеи до выхода на клиента и сбора обратной связи (сколько занимает этап, где у нас простаивает работа или теряется, а сколько времени тратиться на работу, а сколько на ожидания, какие артефакты мы делаем и зачем на каждом этапе). Все эти вопросы позволяют увидеть картину целиком.

Зачем нам что-то измерять?

Оценивать прогресс. Благодаря метрикам, мы всегда знаем, насколько мы продвинулись в достижении целей и выполнении задач и ключевых проектов.
Улучшать результативность. Отслеживать плановые и фактические показатели, улучшать точность прогнозов и качество результатов.
Повышать скорость и гибкость быстрее отказываться от ненужного, экономить время и ресурсы, доставлять ценность быстрее, ускоряя рост продуктов.
Оптимизировать процессы. Метрики помогают нам выявлять узкие места в потоке создания ценности и оптимизировать процессы.
Повышать качество работы. Оценка качества работы на основе метрик позволяет нам предотвращать ошибки и стремиться к постоянному совершенствованию. А также повышать качество продукта, который мы делаем.
Предсказывать риски. Метрики помогают нам прогнозировать возможные риски и проблемы, что позволяет нам принимать меры заранее.
Принимать обоснованные решения. Наши решения основаны на фактах и данных, а не на предположениях. Метрики предоставляют нам объективную информацию для принятия обоснованных решений.

Метрики скорости и гибкости

Метрики, ориентированные на скорость доставки ценности клиенту и гибкость производственного процесса.

Time to market (Lead time, Cycle time и Time to learn) - время от идеи до клиента;
Release frequency - частота релизов за единицу времени;
Release stabilisation period / Change failure rate - время стабилизации / количество ошибок после деплоя;
Mean time to repair - время восстановления после сбоя.

Метрики результативности

Это метрики, ориентированные на пропускную способность и прогнозируемость производственного процесса:

Запланированное/фактическое кол-во целеи;
Запланированное/фактическое кол-во фич/эпиков;
Запланированное/фактическое кол-во US (пользовательских истории);
Запланированное/фактическое кол-во Story points;
Средняя скорость – Velocity – фактическое кол-во SP за период.

Какие метрики выбрать?

Выбор метрик зависит от конкретных целей оптимизации и характера вашего бизнеса. Чтобы определить, с чего начать, следует сначала определить цели оптимизации.

Если вашей компании важна скорость и гибкость, однозначно вам нужно мерить time to market, time to learn и другие сопутствующие метрики.

Если нужна стабильность, то сделайте фокус на том, чтобы больше фокусироваться на метриках качества и предсказуемости, чтобы уметь завершать в срок.

Если важна гибкость нужно качать метрику time to learn.

Но в целом моя рекомендация - смотреть на комплекс метрик, описанных выше, так как в погоне за time to market вы можете потерять в качестве и наоборот.

Также с осторожностью относитесь к сбору метрик эффективности каждого отдельного человека, количество выполненных задач и прочее. Что не имеет отношение к результату, а дает лишь понимание, что работа делалась, но не дает ответа на вопрос, а что было сделано и насколько хо работает поток создания ценности (как в описанном примере выше).

Как использовать метрики эффективности?

Используйте метрики в бизнесе как показатели при управлении самолетом, которые используют пилоты при взлете, полете и посадке. Важны все показатели, но фокус на том или ином показатели должен быть в тот или иной момент времени. И также ответ на вопрос что оптимизировать зависит от целей оптимизации в данный момент.

Используйте метрики на ключевых каденциях - ритмах планирования и подведения результатов, на уровне спринта, квартала, года. Также приучайте команды на ретроспективах использовать метрики.

Что использовать для сбора и анализа метрик?

Мы используем российский продукт - Aimger. Он отлично подходит для сбора и анализа метрик. Aimger легко интегрируется в существующую экосистему организации, а также предоставляет поддержку в определении и внедрении правильного набора метрик.