← Блог

Метрики разработки

Средний Lead Time вам врёт. Как называть сроки по перцентилям

Большинство команд прогнозируют сроки по среднему. А именно это число почти всегда искажает картину, и каждый сорванный срок, названный по нему, стоит вам доверия. Ниже — чем его заменить.

Когда команда начинает измерять разработку и видит метрики, которые показывают, где она ломается, основатель всегда спрашивает одно и то же: данных теперь много, так когда мы можем что-то обещать? Почти все отвечают средним. Для этой задачи хуже числа не найти.

1. Среднее — удобное успокоительное

Менеджеры любят среднее: оно сводит запутанную картину к одному числу, которое можно назвать на стендапе. В этом удобстве и беда.

Возьмём работу, завершённую за месяц:

9 задач закрыли примерно за день каждую

1 задача тянулась месяц

→ средний Lead Time ≈ 4 дня

Ни одна задача в этой системе не заняла четыре дня. Почти все заняли день, а одна застрявшая утянула среднее вверх. Та самая средняя температура по больнице: можно утонуть в реке, глубина которой в среднем по колено.

Средний Lead Time описывает систему, которой у вас нет.

2. Медиана показывает типичную задачу

Медиана — это задача посередине: половина закрывается быстрее, половина медленнее. Здесь это примерно день, и уже по одному этому числу видно, что основная часть работы идёт быстро.

С медианой иначе звучит и сама жалоба. Вас спрашивают: «Среднее у нас четыре дня, почему мы такие медленные?» А среднее прячет реальную картину: девяносто процентов работы идёт нормально, застряли несколько задач. Когда я открывал с командой контрольную диаграмму, разрыв между средним и медианой обычно объяснял всё. Большинство задач закрывались за день-два, а одна-две неделями лежали в очереди на ревью, за которой никто не следил. Система работала быстро. Застряли отдельные задачи.

3. Разрыв между средним и медианой и есть диагноз

Отсюда самая полезная проверка, и она ничего не стоит: поставьте среднее и медиану рядом.

Медиана~2 дняСреднее~5 дней0510152025Lead Time (дни)
Распределение Lead Time: основная часть работы закрывается за день-два (высокие столбцы), а длинный хвост застрявших задач уводит среднее туда, где задачи почти не заканчиваются.
Что вы видитеЧто это значит
Среднее намного выше медианыБольшой разброс. Работа идёт неравномерно: одни задачи пролетают, другие стоят в очередях, на ревью, на согласованиях. Разрыв показывает глубину очереди.
Среднее ≈ медианаМалый разброс. Работа идёт ровно. Система стабильна и предсказуема.

Сигнал здесь сам разрыв. Если он большой, у распределения длинный хвост: блокеры, передача задач из рук в руки, ожидание конкретного человека. Уберите их, и среднее вернётся к медиане. Всё это видно с первого взгляда, и стоять над кем-то с секундомером не нужно.

4. Берите дату из перцентиля

Бизнес задаёт один вопрос: когда будет готово? Ответ он ждёт одной датой, без лекции по статистике. Это справедливо, так что назовите одну дату. Только берите её из правильного числа.

Срок по среднему — обещание, которое разброс не даст сдержать. Сказали «дня четыре», не успели, потеряли доверие. В следующем спринте всё повторится. Перцентиль подсказывает, какое число брать: это срок, в который укладывается заданная доля задач. Реальное распределение не такое крайнее, как пример выше, но форма у него та же. Выглядит оно примерно так:

ПерцентильLead Time
P50 (медиана)2 дня
P856 дней
P9511 дней

Теперь выбирать просто. Для рутинной работы обещайте P85: «к шестому дню». Если задачу ждёт клиент или другая команда и промах обойдётся дорого, называйте P95: «к одиннадцатому дню». Данные одни, обещания разные, и оба вы сдержите.

Такая дата честная: неопределённость в ней уже учтена. Вы обещаете срок, в который уложитесь в 95 случаях из 100 (или в 85, если выбрали эту границу). Оценку на глаз разброс сломал бы всё равно. Спросят, насколько вы уверены, — скажите. Большинству хватает самой даты.

Перцентиль помогает вам выбрать дату. Бизнесу вы называете только дату.

Если задача уже в работе, считайте по тому же распределению, сколько ей осталось, с поправкой на то, сколько она уже идёт. А когда вы впервые назовёте дату и успеете к ней, из команды, которая «вечно опаздывает», вы станете «предсказуемой» командой. Такая репутация стоит дороже редких быстрых задач.

5. Предсказуемость и есть продукт

Бизнес покупает у разработки предсказуемость, и она ценнее голой скорости. Продажи обещают клиентам ваши даты, маркетинг ставит под них запуски, поддержка планирует смены. Команда, которая стабильно заканчивает к пятнице, лучше той, что успевает то ко вторнику, то через три недели: на неё могут опираться все, кто от неё зависит.

Малый разброс не случаен. Его даёт контроль незавершённой работы: при высоком WIP растут очереди, очереди дают длинный хвост, а хвост поднимает среднее над медианой. Поэтому контроль WIP сам по себе сужает распределение. Новый инструмент для этого не нужен: Control Chart в Jira показывает среднее, медиану и перцентили по данным, которые у вас уже есть.

Большинство команд прогнозируют по среднему и удивляются, что сроки всё время съезжают. Всё нужное для прогноза уже есть в вашем распределении: медиана показывает типичную задачу, разрыв — здоровье системы, перцентиль — дату, которую можно обещать.

Частые вопросы

Почему средний Lead Time вводит в заблуждение?

Несколько медленных задач тянут среднее арифметическое вверх, и оно оказывается заметно выше срока большинства задач. Такое среднее описывает систему, которой нет: основная часть работы идёт быстрее, а несколько задач — намного медленнее. Поэтому прогноз по среднему ошибается в обе стороны.

Чем медиана Lead Time отличается от среднего?

Медиана
Типичная задача, та, что посередине. Половина закрывается быстрее, половина медленнее.
Среднее
Арифметическое среднее, его сильно искажает длинный хвост застрявших задач.

Если среднее намного выше медианы, у вас большой разброс и проблема с очередями. Если они близки, система стабильна.

Как назвать срок, к которому команда успеет?

Берите его из перцентиля (p85/p95) распределения Cycle Time. Среднее на глаз для этого не годится. Бизнесу вы по-прежнему называете одну дату, только ту, к которой система, судя по данным, успевает.

Вы обещаете дату, а вероятность держите при себе.

Где посмотреть медиану и перцентили?

Control Chart в Jira и точечные диаграммы Cycle Time показывают среднее, медиану и перцентили по данным, которые у вас уже есть, без ручного учёта времени. То же умеет большинство трекеров с аналитикой потока.