Представьте ситуацию: маркетинг снижает стоимость привлечения пользователей, разработка повышает удобство продукта, поддержка сокращает время обработки обращений. У каждой команды есть инициативы и отчеты об успехах, но бизнес-результат для компании не меняется.
Дерево метрик помогает связать работу команд с общей целью. Александр, ментор в 2R, рассказал, как его построить и обновлять.
Что такое дерево метрик и что оно дает команде
Дерево метрик — это схема, которая показывает связи между бизнес-показателями. Они расположены по иерархии: наверху несколько ключевых показателей, ниже — их составляющие.
Например, так может выглядеть дерево метрик для выручки. Его можно достраивать и ниже: разобрать привлечение клиентов, первую покупку, повторные заказы и другие этапы пользовательского пути
Иерархическая структура позволяет увидеть продукт целиком. Команда понимает, где формируется результат, какие показатели уже измеряют, а где есть пробелы.
Кроме того, дерево помогает:
● Убедиться, что все участники команды одинаково понимают успех продукта, или найти рассинхрон.
● Договориться об определениях и методиках расчета показателей.
● Обнаружить, что несколько команд влияют на одну метрику, и избавиться от дублирования функций.
● Сохранить знания о гипотезах и результатах изменений — на дерево можно нанести накопленный опыт: запущенные инициативы и динамику показателей.
Объяснить заказчику, почему команда выбирает конкретное направление работы.
Как построить дерево метрик продукта
Важно определить подходящее положение каждой метрики и связать ее с другими.
Шаг 1. Определить ключевую цель и ориентир
Сформулируйте задачу бизнеса, которую предстоит выразить в показателях. Например: понять, от чего зависит прибыль сервиса, почему клиенты перестают пользоваться продуктом или из чего складывается стоимость обслуживания.
В верхней части дерева сразу разместите общий ориентир, который поможет командам согласовать работу. Для коммерческого сервиса им может стать финансовый результат — например, прибыль. Если у продукта больше одного направления, можно построить дерево с несколькими верхними показателями.
Шаг 2. Собрать известные метрики
Занесите на одну доску все показатели из дашбордов, отчетов, исследований и экспериментов. На этом этапе необязательно сразу определять их место в дереве.
Полезно привлечь участников, которые работают с продуктом с разных сторон: бизнес, пользовательский опыт, процессы и данные. У каждой команды может быть своя часть картины.
Если выяснится, что важный показатель пока не считают, добавьте его с пометкой «Нет измерения». Так уже при сборке станут видны пробелы.
Шаг 3. Визуализировать первый уровень иерархии
Ответьте на вопрос: «Какие показатели непосредственно определяют верхнюю метрику?». Для прибыли это выручка и затраты. Разместите их ниже и сразу обозначьте связь:
Прибыль = выручка − затраты
Затем аналогично разберите каждую получившуюся ветку. Например:
Выручка = число оплаченных заказов × средняя выручка на оплаченный заказ
Карточки, которые уже есть на доске, перемещайте на соответствующий уровень. Недостающие — добавляйте и помечайте.
Шаг 4. Последовательно углублять каждую ветку
Для каждого нового звена повторяйте вопросы: «Из чего складывается этот показатель?» и «Чем можно объяснить его изменение?».
Например, число оплаченных заказов можно разложить дальше:
Оплаченные заказы = заказы с попыткой оплаты × конверсия в успешную оплату
Рядом с конверсией можно разместить показатели, которые помогают разобраться в причинах неудавшихся оплат: доля заказов с техническими ошибками, отказы банка или прерванная оплата.
Здесь важно различать типы связей. Математическое разложение показываем формулой. Предполагаемое влияние — отдельной стрелкой с пояснением. Диагностические показатели помогают исследовать проблему, но не обязательно складываются в точную формулу.
Математические знаки нужны, чтобы оценивать вклад изменений. Рассмотрим условный пример: из 125 тысяч заказов с первой попыткой оплаты 100 тысяч были оплачены в течение 24 часов. Конверсия составила 80%.
Если при прежнем количестве заказов повысить конверсию до 81%, получится ещё 1 250 оплаченных заказов. При вкладе каждого дополнительного заказа после переменных затрат в 300 рублей расчетный прирост составит 375 тысяч рублей до учета стоимости реализации изменения.
Теперь команда может оценить масштаб возможного результата и сопоставить инициативу с альтернативами. При этом расчет предполагает, что сохранятся остальные условия: средняя выручка, переменные затраты на заказ и постоянные расходы.
Если вы можете объяснить, как изменение нижнего показателя отражается на верхнем, — это признак хорошо подобранных метрик.
Детализируйте ветку до уровня, на котором команда понимает, какую часть продукта нужно исследовать и какими действиями на нее потенциально можно повлиять. Разные ветки могут иметь разную глубину.
Метрики продуктовой аналитики, которым не нашлось места, оставьте в отдельной области «Нужно разобраться». Это повод уточнить их назначение или найти недостающую связь.
Шаг 5. Уточнить содержание карточек
По мере сборки дерева согласуйте с командой определения. Одинаковое название метрики ещё не означает одинаковый расчёт.
Одна команда может вычислять конверсию от всех посетителей, другая — от тех, кто начал оформлять заказ. Один департамент считает спящими пользователей без покупок, другой — пользователей без любых действий в приложении.
По каждой каждой метрике должны быть зафиксированы:
● определение и формула;
● период и единица расчета;
● правила включения и исключения данных;
● источник и ссылка на отчет;
● текущее значение с датой;
● ответственный за определение или расчет.
Неясности отмечайте прямо на доске, например «проверить данные». Это конкретные задачи для доработки дерева.
Карточки могут стать основой для взаимодействия с другими командами. Можно показать дерево и сказать: «Мы работаем над одной и той же метрикой. Давайте объединим исследования, результаты экспериментов и идеи».
Шаг 6. Проверить собранную структуру и набор метрик
Просмотрите дерево сверху вниз. Объясняют ли нижние уровни верхние? Сходятся ли формулы? Нет ли двойного учета или пропущенных составляющих?
Затем снизу вверх: понятно ли, какое отношение каждый показатель имеет к общему результату? Если точная связь неизвестна, видна ли эта неопределенность?
Проверьте каждую метрику по чек-листу.
Первая рабочая версия дерева готова, когда основные связи понятны, определения согласованы, а оставшиеся пробелы явно обозначены.
Как сохранить на дереве накопленный опыт
Дерево становится полезнее, когда рядом с показателями появляются сведения о том, как команда уже пыталась на них влиять. Возле метрики или связи между показателями можно разместить карточку эксперимента:
● какое изменение проверяли;
● на какой аудитории;
● какие показатели изменились и на сколько;
● насколько точна оценка эффекта;
● где находится полный отчет.
Сохранять стоит и эксперименты без подтвержденного улучшения. Они показывают, какие подходы уже проверяли, какие предположения пересмотрели и где команде может понадобиться новый способ решения проблемы.
Как перейти от дерева к инициативам
Теперь на доске есть показатели, их определения, текущие значения и известные пробелы. Следующий шаг — с помощью дерева выбрать направления развития. Для этого нужно:
1. Найти участок, который заслуживает внимания. Например, показатель ухудшился или связан с частыми жалобами пользователей.
2. Проверить, что именно стоит за цифрой. Посмотреть данные, пользовательский путь, обращения и исследования.
3. Сформулировать возможные воздействия. Предложить, какие изменения продукта способны устранить обнаруженную проблему.
4. Разместить инициативы рядом с метрикой. Для каждой записать гипотезу и ожидаемое направление изменений.
5. Оценить вклад в общий результат и необходимые ресурсы. Сравнить инициативу с альтернативами из других веток дерева.
Например, возле доли неуспешных оплат могут появиться такие инициативы: сохранять введенные данные для повторной попытки, добавить новый способ оплаты. У каждой будет обоснование и предполагаемый эффект. Так команда может проследить путь от конкретной инициативы к бизнес-результату.
Как выбрать метрику, на которой стоит сосредоточиться
Для выбора направления развития недостаточно увидеть показатель с низким значением. Нужно ответить на три вопроса.
Можем ли мы повлиять на метрику? Должны быть конкретные продуктовые воздействия, которые команда способна проверить или реализовать.
Какой вклад даст изменение в верхний показатель? Рост небольшой метрики в три раза может принести меньше результата, чем улучшение крупного направления на 1%. Поэтому сравнивать только проценты роста нельзя: нужны исходный масштаб, связь с верхним показателем и последствия для соседних веток.
Какой результат мы ожидаем относительно необходимых вложений? Одна инициатива может требовать нескольких месяцев разработки ради небольшого улучшения. Другая — устранять известную проблему простым изменением. Сравнивать стоит ожидаемый вклад, ресурсы и уверенность в предположениях.
Здесь особенно полезна история работы над метрикой. Если команда полгода улучшала одну конверсию, а последние десять экспериментов не показали убедительного роста, это повод пересмотреть подход и посмотреть на другие части продукта.
Отсутствие статистически значимого результата не доказывает, что метрика достигла оптимума. Причина может быть в слабых гипотезах, недостаточной точности измерения или особенностях аудитории. Статистическая значимость также не показывает размер и практическую ценность эффекта. Эти различия подчёркивает Американская статистическая ассоциация. |
Как организовать работу над деревом
Чтобы провести встречу по сборке дерева, соберите группу из 3–5 человек, которые понимают бизнес, продукт и данные. Также выберите модератора, который будет направлять обсуждение и фиксировать договоренности на доске.
Спорные определения и неизвестные связи лучше отмечать отдельно. Для уточнения отдельной ветки можно дополнительно собрать участников, которые хорошо знают соответствующую часть продукта. После встречи отправьте команде итоги: что согласовали, что нужно проверить.
Рабочую версию дерева нужно обновлять: актуализировать определения и ссылки, добавлять результаты проверок, отмечать изменение фокуса.
Чек-лист: готово ли дерево к работе
Этот чек-лист поможет проверить, качественно ли собрано дерево метрик.
Дерево метрик становится рабочим инструментом, когда помогает понять происходящее в продукте и обосновать следующий шаг команды. По мере накопления данных связи уточняются, инициативы меняются, а общий результат остается ориентиром для совместной работы.
Александр Сиряцкий
Автор
