Метрики разработки
Средний Lead Time вам врёт. Как называть сроки по перцентилям
Большинство команд прогнозируют сроки по среднему. А именно это число почти всегда искажает картину, и каждый сорванный срок, названный по нему, стоит вам доверия. Ниже — чем его заменить.
Когда команда начинает измерять разработку и видит метрики, которые показывают, где она ломается, основатель всегда спрашивает одно и то же: данных теперь много, так когда мы можем что-то обещать? Почти все отвечают средним. Для этой задачи хуже числа не найти.
1. Среднее — удобное успокоительное
Менеджеры любят среднее: оно сводит запутанную картину к одному числу, которое можно назвать на стендапе. В этом удобстве и беда.
Возьмём работу, завершённую за месяц:
9 задач закрыли примерно за день каждую
1 задача тянулась месяц
→ средний Lead Time ≈ 4 дня
Ни одна задача в этой системе не заняла четыре дня. Почти все заняли день, а одна застрявшая утянула среднее вверх. Та самая средняя температура по больнице: можно утонуть в реке, глубина которой в среднем по колено.
Средний Lead Time описывает систему, которой у вас нет.
2. Медиана показывает типичную задачу
Медиана — это задача посередине: половина закрывается быстрее, половина медленнее. Здесь это примерно день, и уже по одному этому числу видно, что основная часть работы идёт быстро.
С медианой иначе звучит и сама жалоба. Вас спрашивают: «Среднее у нас четыре дня, почему мы такие медленные?» А среднее прячет реальную картину: девяносто процентов работы идёт нормально, застряли несколько задач. Когда я открывал с командой контрольную диаграмму, разрыв между средним и медианой обычно объяснял всё. Большинство задач закрывались за день-два, а одна-две неделями лежали в очереди на ревью, за которой никто не следил. Система работала быстро. Застряли отдельные задачи.
3. Разрыв между средним и медианой и есть диагноз
Отсюда самая полезная проверка, и она ничего не стоит: поставьте среднее и медиану рядом.
| Что вы видите | Что это значит |
|---|---|
| Среднее намного выше медианы | Большой разброс. Работа идёт неравномерно: одни задачи пролетают, другие стоят в очередях, на ревью, на согласованиях. Разрыв показывает глубину очереди. |
| Среднее ≈ медиана | Малый разброс. Работа идёт ровно. Система стабильна и предсказуема. |
Сигнал здесь сам разрыв. Если он большой, у распределения длинный хвост: блокеры, передача задач из рук в руки, ожидание конкретного человека. Уберите их, и среднее вернётся к медиане. Всё это видно с первого взгляда, и стоять над кем-то с секундомером не нужно.
4. Берите дату из перцентиля
Бизнес задаёт один вопрос: когда будет готово? Ответ он ждёт одной датой, без лекции по статистике. Это справедливо, так что назовите одну дату. Только берите её из правильного числа.
Срок по среднему — обещание, которое разброс не даст сдержать. Сказали «дня четыре», не успели, потеряли доверие. В следующем спринте всё повторится. Перцентиль подсказывает, какое число брать: это срок, в который укладывается заданная доля задач. Реальное распределение не такое крайнее, как пример выше, но форма у него та же. Выглядит оно примерно так:
| Перцентиль | Lead Time |
|---|---|
| P50 (медиана) | 2 дня |
| P85 | 6 дней |
| P95 | 11 дней |
Теперь выбирать просто. Для рутинной работы обещайте P85: «к шестому дню». Если задачу ждёт клиент или другая команда и промах обойдётся дорого, называйте P95: «к одиннадцатому дню». Данные одни, обещания разные, и оба вы сдержите.
Такая дата честная: неопределённость в ней уже учтена. Вы обещаете срок, в который уложитесь в 95 случаях из 100 (или в 85, если выбрали эту границу). Оценку на глаз разброс сломал бы всё равно. Спросят, насколько вы уверены, — скажите. Большинству хватает самой даты.
Перцентиль помогает вам выбрать дату. Бизнесу вы называете только дату.
Если задача уже в работе, считайте по тому же распределению, сколько ей осталось, с поправкой на то, сколько она уже идёт. А когда вы впервые назовёте дату и успеете к ней, из команды, которая «вечно опаздывает», вы станете «предсказуемой» командой. Такая репутация стоит дороже редких быстрых задач.
5. Предсказуемость и есть продукт
Бизнес покупает у разработки предсказуемость, и она ценнее голой скорости. Продажи обещают клиентам ваши даты, маркетинг ставит под них запуски, поддержка планирует смены. Команда, которая стабильно заканчивает к пятнице, лучше той, что успевает то ко вторнику, то через три недели: на неё могут опираться все, кто от неё зависит.
Малый разброс не случаен. Его даёт контроль незавершённой работы: при высоком WIP растут очереди, очереди дают длинный хвост, а хвост поднимает среднее над медианой. Поэтому контроль WIP сам по себе сужает распределение. Новый инструмент для этого не нужен: Control Chart в Jira показывает среднее, медиану и перцентили по данным, которые у вас уже есть.
Большинство команд прогнозируют по среднему и удивляются, что сроки всё время съезжают. Всё нужное для прогноза уже есть в вашем распределении: медиана показывает типичную задачу, разрыв — здоровье системы, перцентиль — дату, которую можно обещать.
Частые вопросы
Почему средний Lead Time вводит в заблуждение?
Несколько медленных задач тянут среднее арифметическое вверх, и оно оказывается заметно выше срока большинства задач. Такое среднее описывает систему, которой нет: основная часть работы идёт быстрее, а несколько задач — намного медленнее. Поэтому прогноз по среднему ошибается в обе стороны.
Чем медиана Lead Time отличается от среднего?
- Медиана
- Типичная задача, та, что посередине. Половина закрывается быстрее, половина медленнее.
- Среднее
- Арифметическое среднее, его сильно искажает длинный хвост застрявших задач.
Если среднее намного выше медианы, у вас большой разброс и проблема с очередями. Если они близки, система стабильна.
Как назвать срок, к которому команда успеет?
Берите его из перцентиля (p85/p95) распределения Cycle Time. Среднее на глаз для этого не годится. Бизнесу вы по-прежнему называете одну дату, только ту, к которой система, судя по данным, успевает.
Вы обещаете дату, а вероятность держите при себе.
Где посмотреть медиану и перцентили?
Control Chart в Jira и точечные диаграммы Cycle Time показывают среднее, медиану и перцентили по данным, которые у вас уже есть, без ручного учёта времени. То же умеет большинство трекеров с аналитикой потока.