Как составить дерево метрик продукта и понять, на чем сфокусироваться команде

Представьте ситуацию: маркетинг снижает стоимость привлечения пользователей, разработка повышает удобство продукта, поддержка сокращает время обработки обращений. У каждой команды есть инициативы и отчеты об успехах, но бизнес-результат для компании не меняется.

Дерево метрик помогает связать работу команд с общей целью. Александр, ментор в 2R, рассказал, как его построить и обновлять.

Что такое дерево метрик и что оно дает команде

Дерево метрик — это схема, которая показывает связи между бизнес-показателями. Они расположены по иерархии: наверху несколько ключевых показателей, ниже — их составляющие.

Например, так может выглядеть дерево метрик для выручки. Его можно достраивать и ниже: разобрать привлечение клиентов, первую покупку, повторные заказы и другие этапы пользовательского пути

Иерархическая структура позволяет увидеть продукт целиком. Команда понимает, где формируется результат, какие показатели уже измеряют, а где есть пробелы.

Кроме того, дерево помогает:

● Убедиться, что все участники команды одинаково понимают успех продукта, или найти рассинхрон.

● Договориться об определениях и методиках расчета показателей.

● Обнаружить, что несколько команд влияют на одну метрику, и избавиться от дублирования функций.

● Сохранить знания о гипотезах и результатах изменений — на дерево можно нанести накопленный опыт: запущенные инициативы и динамику показателей. 

Объяснить заказчику, почему команда выбирает конкретное направление работы.

Как построить дерево метрик продукта

Важно определить подходящее положение каждой метрики и связать ее с другими.

Шаг 1. Определить ключевую цель и ориентир

Сформулируйте задачу бизнеса, которую предстоит выразить в показателях. Например: понять, от чего зависит прибыль сервиса, почему клиенты перестают пользоваться продуктом или из чего складывается стоимость обслуживания.

В верхней части дерева сразу разместите общий ориентир, который поможет командам согласовать работу. Для коммерческого сервиса им может стать финансовый результат — например, прибыль. Если у продукта больше одного направления, можно построить дерево с несколькими верхними показателями.

Шаг 2. Собрать известные метрики

Занесите на одну доску все показатели из дашбордов, отчетов, исследований и экспериментов. На этом этапе необязательно сразу определять их место в дереве.

Полезно привлечь участников, которые работают с продуктом с разных сторон: бизнес, пользовательский опыт, процессы и данные. У каждой команды может быть своя часть картины.

Если выяснится, что важный показатель пока не считают, добавьте его с пометкой «Нет измерения». Так уже при сборке станут видны пробелы.

Шаг 3. Визуализировать первый уровень иерархии

Ответьте на вопрос: «Какие показатели непосредственно определяют верхнюю метрику?». Для прибыли это выручка и затраты. Разместите их ниже и сразу обозначьте связь:

Прибыль = выручка − затраты

Затем аналогично разберите каждую получившуюся ветку. Например:

Выручка = число оплаченных заказов × средняя выручка на оплаченный заказ

Карточки, которые уже есть на доске, перемещайте на соответствующий уровень. Недостающие — добавляйте и помечайте.

Шаг 4. Последовательно углублять каждую ветку

Для каждого нового звена повторяйте вопросы: «Из чего складывается этот показатель?» и «Чем можно объяснить его изменение?».

Например, число оплаченных заказов можно разложить дальше:

Оплаченные заказы = заказы с попыткой оплаты × конверсия в успешную оплату

Рядом с конверсией можно разместить показатели, которые помогают разобраться в причинах неудавшихся оплат: доля заказов с техническими ошибками, отказы банка или прерванная оплата.

Здесь важно различать типы связей. Математическое разложение показываем формулой. Предполагаемое влияние — отдельной стрелкой с пояснением. Диагностические показатели помогают исследовать проблему, но не обязательно складываются в точную формулу.

Математические знаки нужны, чтобы оценивать вклад изменений. Рассмотрим условный пример: из 125 тысяч заказов с первой попыткой оплаты 100 тысяч были оплачены в течение 24 часов. Конверсия составила 80%.

Если при прежнем количестве заказов повысить конверсию до 81%, получится ещё 1 250 оплаченных заказов. При вкладе каждого дополнительного заказа после переменных затрат в 300 рублей расчетный прирост составит 375 тысяч рублей до учета стоимости реализации изменения.

Теперь команда может оценить масштаб возможного результата и сопоставить инициативу с альтернативами. При этом расчет предполагает, что сохранятся остальные условия: средняя выручка, переменные затраты на заказ и постоянные расходы.

Если вы можете объяснить, как изменение нижнего показателя отражается на верхнем, — это признак хорошо подобранных метрик.

Александр Сиряцкий

Александр Сиряцкий

Ментор по аналитике данных и продуктовой аналитике

Подробнее

Детализируйте ветку до уровня, на котором команда понимает, какую часть продукта нужно исследовать и какими действиями на нее потенциально можно повлиять. Разные ветки могут иметь разную глубину.

Метрики продуктовой аналитики, которым не нашлось места, оставьте в отдельной области «Нужно разобраться». Это повод уточнить их назначение или найти недостающую связь.

Шаг 5. Уточнить содержание карточек

По мере сборки дерева согласуйте с командой определения. Одинаковое название метрики ещё не означает одинаковый расчёт.

Одна команда может вычислять конверсию от всех посетителей, другая — от тех, кто начал оформлять заказ. Один департамент считает спящими пользователей без покупок, другой — пользователей без любых действий в приложении.

По каждой каждой метрике должны быть зафиксированы:

● определение и формула;

● период и единица расчета;

● правила включения и исключения данных;

● источник и ссылка на отчет;

● текущее значение с датой;

● ответственный за определение или расчет.

Неясности отмечайте прямо на доске, например «проверить данные». Это конкретные задачи для доработки дерева.

Карточки могут стать основой для взаимодействия с другими командами. Можно показать дерево и сказать: «Мы работаем над одной и той же метрикой. Давайте объединим исследования, результаты экспериментов и идеи».

Шаг 6. Проверить собранную структуру и набор метрик

Просмотрите дерево сверху вниз. Объясняют ли нижние уровни верхние? Сходятся ли формулы? Нет ли двойного учета или пропущенных составляющих?

Затем снизу вверх: понятно ли, какое отношение каждый показатель имеет к общему результату? Если точная связь неизвестна, видна ли эта неопределенность?

Проверьте каждую метрику по чек-листу.

Первая рабочая версия дерева готова, когда основные связи понятны, определения согласованы, а оставшиеся пробелы явно обозначены.

Как сохранить на дереве накопленный опыт

Дерево становится полезнее, когда рядом с показателями появляются сведения о том, как команда уже пыталась на них влиять. Возле метрики или связи между показателями можно разместить карточку эксперимента:

● какое изменение проверяли;

● на какой аудитории;

● какие показатели изменились и на сколько;

● насколько точна оценка эффекта;

● где находится полный отчет.

Сохранять стоит и эксперименты без подтвержденного улучшения. Они показывают, какие подходы уже проверяли, какие предположения пересмотрели и где команде может понадобиться новый способ решения проблемы.

Как перейти от дерева к инициативам

Теперь на доске есть показатели, их определения, текущие значения и известные пробелы. Следующий шаг — с помощью дерева выбрать направления развития. Для этого нужно:

1. Найти участок, который заслуживает внимания. Например, показатель ухудшился или связан с частыми жалобами пользователей.

2. Проверить, что именно стоит за цифрой. Посмотреть данные, пользовательский путь, обращения и исследования.

3. Сформулировать возможные воздействия. Предложить, какие изменения продукта способны устранить обнаруженную проблему.

4. Разместить инициативы рядом с метрикой. Для каждой записать гипотезу и ожидаемое направление изменений.

5. Оценить вклад в общий результат и необходимые ресурсы. Сравнить инициативу с альтернативами из других веток дерева.

Например, возле доли неуспешных оплат могут появиться такие инициативы: сохранять введенные данные для повторной попытки, добавить новый способ оплаты. У каждой будет обоснование и предполагаемый эффект. Так команда может проследить путь от конкретной инициативы к бизнес-результату.

Как выбрать метрику, на которой стоит сосредоточиться

Для выбора направления развития недостаточно увидеть показатель с низким значением. Нужно ответить на три вопроса.

Можем ли мы повлиять на метрику? Должны быть конкретные продуктовые воздействия, которые команда способна проверить или реализовать.

Какой вклад даст изменение в верхний показатель? Рост небольшой метрики в три раза может принести меньше результата, чем улучшение крупного направления на 1%. Поэтому сравнивать только проценты роста нельзя: нужны исходный масштаб, связь с верхним показателем и последствия для соседних веток.

Какой результат мы ожидаем относительно необходимых вложений? Одна инициатива может требовать нескольких месяцев разработки ради небольшого улучшения. Другая — устранять известную проблему простым изменением. Сравнивать стоит ожидаемый вклад, ресурсы и уверенность в предположениях.

Здесь особенно полезна история работы над метрикой. Если команда полгода улучшала одну конверсию, а последние десять экспериментов не показали убедительного роста, это повод пересмотреть подход и посмотреть на другие части продукта.

 Отсутствие статистически значимого результата не доказывает, что метрика достигла оптимума. Причина может быть в слабых гипотезах, недостаточной точности измерения или особенностях аудитории. Статистическая значимость также не показывает размер и практическую ценность эффекта. Эти различия подчёркивает Американская статистическая ассоциация.

Как организовать работу над деревом

Чтобы провести встречу по сборке дерева, соберите группу из 3–5 человек, которые понимают бизнес, продукт и данные. Также выберите модератора, который будет направлять обсуждение и фиксировать договоренности на доске.

Спорные определения и неизвестные связи лучше отмечать отдельно. Для уточнения отдельной ветки можно дополнительно собрать участников, которые хорошо знают соответствующую часть продукта. После встречи отправьте команде итоги: что согласовали, что нужно проверить. 

Рабочую версию дерева нужно обновлять: актуализировать определения и ссылки, добавлять результаты проверок, отмечать изменение фокуса.

Чек-лист: готово ли дерево к работе

Этот чек-лист поможет проверить, качественно ли собрано дерево метрик.

Дерево метрик становится рабочим инструментом, когда помогает понять происходящее в продукте и обосновать следующий шаг команды. По мере накопления данных связи уточняются, инициативы меняются, а общий результат остается ориентиром для совместной работы.

Уже изучили статьи? Теперь можно автоматизировать отклики на вакансии

Автоматизируйте отклики на вакансии, чтобы сосредоточиться на подготовке к собеседованиям, а не на рутине. Поддерживает несколько аккаунтов.

Начать использовать
Автокликер для откликов на вакансии

Новое на сайте

Сервисы для быстрого входа в IT: что использовать на каждом этапе

Сервисы для быстрого входа в IT: что использовать на каждом этапе

Как найти первую работу аналитиком данных без опыта: разбор пути с ментором

Как найти первую работу аналитиком данных без опыта: разбор пути с ментором

Как готовиться к IT-собеседованиям по записям реальных интервью

Как готовиться к IT-собеседованиям по записям реальных интервью