Дерево метрик и управленческие решения на основе данных
При развитии продуктов часто используют принципы на базе исследования потребностей, определения размеров рынка и гипотез достижения тех или иных стратегических целей. Сегодня я расскажу о том, как управлять развитием уже существующего продукта в контексте управления на основе инструмента математического моделирования и визуализации — «дерева метрик».
Представим, что перед нами стоит цель зарабатывать 1 млн долларов в месяц. Хорошая цель. И вот мы собрались с нашей командой — разработка, тестирование, дизайн, аналитик, маркетинг, продажи, техподдержка… Что будем делать, капитан? Куда плывем? Как достигнем цели?
Молодой, но опытный моряк сразу скажет: «Все просто! Нам нужен непрерывный цикл исследований, который мы будем проходить по кругу, раз за разом: гипотеза, действие, измерение, анализ». Примером таких циклов можно рассмотреть фреймворки HADI или, например, подход Lean-startup, описанный в замечательной книге Синди Альварес «Как создать продукт который купят».
Но с какой конкретно гипотезы начать? Что делать, если гипотез очень много? На чем нужно сконцентрировать усилия в первую очередь: маркетинг? Качество? Удовлетворенность? Может, новые фичи, о которых мечтает тимлид? И если так, то какая фича действительно важна, а какую положить в бэклог?
Давайте попробуем использовать дерево метрик для решения этой задачи. Это инструмент математического моделирования и визуализации финансовой модели бизнеса вокруг продукта. Он помогает декомпозировать поставленную перед нами цель на составляющие, благодаря чему вы как руководитель продукта сможете:
быстро погрузиться в проблематику, даже если это новый продукт или бизнес;
определить связи между имеющимися параметрами продукта;
обнаружить точки роста или узкие места;
сформировать гипотезу достижения цели;
определить ключевые метрики, на которых нужно сфокусироваться;
приоритизировать бэклог продукта;
сформировать или уточнить стратегию развития.
Для начала определим нашу главную North Star метрику, и я предлагаю на эту роль деньги. Да, многие авторы настаивают, что NSM может быть не про деньги и, возможно, в каком-то конкретном случае это действительно так. Однако лично я считаю, что все так или иначе сводится к деньгам. И это самая лучшая крупно-уровневая и универсальная метрика успеха любого предприятия.
В общем, экономика любого продукта устроена довольно просто:
Новые пользователи → Продукт → Деньги (NSM)
Для декомпозиции NSM достаточно знать, из чего состоит наш доход, обычно это:
Количество клиентов — Customers ©
Доход с привлеченного пользователя — Average Revenue Per User (ARPU)
Однако новые клиенты для нас всегда что-то стоят, учтем Cost Per Acquisition (CPA) и получим условную прибыль без учета прочих издержек:
Двигаемся дальше, декомпозируем ARPU на составляющие:
Средний чек — average check (AvCh)
Среднее количество покупок за месяц — Purchases Per Month (PPM)
Среднее время жизни в месяцах — Life Time (LT)
Применимо к монетизации вашего продукта могут быть и другие составляющие, например число активных пользователей, процент платящих из них, частоту покупок и т. д. Выберите самые важные исходя из подхода «чему равна ваша выручка?» В моем случае это:
Продолжаем декомпозицию, рассмотрим число клиентов — С. Кажется, что оно состоит из очевидных групп:
Текущих пользователей — Based
Новых привлеченных — New/User Acquisition (UA)
Потерянных — Lost
Для декомпозиции AvCh рассмотрим частотный анализ среднего чека. Он может показать нам распределение минимальных и максимальных значений этого параметра, а также определить сегменты клиентов, например такие:
Маленький — S
Средний — М
Крупный — L
Объединив эти составляющие, мы получаем математическую модель в первом приближении:
Теперь, получив модель, мы можем рассмотреть силы, которые на нее влияют. Смоделируем изменение какой-то из метрик на ±1% и таким образом определить вес ее влияния на NSM.
Давайте разберем несколько примеров.
Сравнение различной степени влияния на выручку изменений среднего чека (слева) и времени жизни (справа)
Средний чек. Первое, что я рекомендовал сделать, это посмотреть на разброс этой метрики. Насколько средний чек отражает действительность? Насколько мода близка к среднему? Есть ли скопления выбросов в чеках?
Частотный график по среднему чеку
Может быть, у вас есть группа клиентов, которые платят в разы больше или меньше среднего? Поговорив с представителями этой группы, вы обнаружите, что есть определенная характеристика, которая отличает этих клиентов — возможно, они из другого сегмента рынка. Возможно, они не B2C, а B2B или B2B2C. Или они используют продукт как-то иначе.
Это хорошая история, если вы, посмотрев на данные, не станете сразу пилить новые фичи, а пойдете говорить с представителями обнаруженных сегментов. И, если вам повезет, вы можете найти точку роста вашего продукта или даже изменить направление развития продукта. И сверкать на конференциях модным словечками типа Customer Segment Pivot.
Следующий уровень погружения — рассмотрим силы, которые могут повлиять на средний чек в сегменте. Для примера:
Монетизация. Например, проведем сравнение с конкурентами.
Cross-sell/Up-sell. Продажа сопутствующих товаров или даже услуг по аналогии с разделом «с этим товаром обычно покупают…».
Можно повысить средний чек, предложив дополнительный платный модуль к продукту.
Если частотный график сдвинут ближе к нулю от среднего, сработает ограничение для минимальной покупки. Это повысит минимальный чек, а вслед за ним и средний.
Придумать вознаграждение за покупку от определенного уровня. Например, бесплатная доставка в онлайн-магазинах призвана влиять именно на средний чек.
Придумать скидку от размера покупки. Она будет стимулировать купить чуть больше — «ведь это выгоднее!».
Формируйте бандлы из продуктов. Это бывает выгодно клиентам, ведь они решают свою задачу комплексно.
Если для вашего продукта характерны спонтанные покупки, проводите акции и распродажи, черные пятницы.
Используйте программу лояльности, если это применимо.
Кстати, программа лояльности может быть продуктом сама по себе. И если для вашего бизнеса это ключевой драйвер, вам просто необходим продакт-менеджер на программу лояльности. Он должен, с одной стороны, сформулировать понятную ценность для клиента. А с другой — управлять той силой, увеличивающей количество покупок и средний чек.
И вот вы уже нанимаете нового сотрудника, а не пилите очередную фичу…
Количество активных клиентов. Это очень важные ребята: они заплатили вам потому, что увидели ценность, а только готовность отдать деньги являются однозначным критерием наличия ценности в продукте. И мы можем напрямую спросить такого клиента, почему он выбрал именно наш продукт.
В зависимости от количества клиентов, имеющихся ресурсов и специфики бизнеса можно выбрать подходящую методику исследования клиентов для определения тех сил, которые влияют на эту метрику. Это могут быть опросы, аналитика технических метрик использования продукта, clickstream-аналитика и построение маршрутов передвижения пользователя, A/B-тестирование и т. д. Для выбора методики советую это описание основных методов исследования или видео — если вы предпочитаете воспринимать информацию на слух.
Мы можем увидеть, что не подходим какой-то аудитории, или, наоборот, не заметили, что нас уже сейчас использует другой сегмент, которому продукт идеально подошел в текущем виде.
Мне очень нравится методика ABCDX-сегментации — очень рекомендую почитать на эту тему у одного из китов продуктовой культуры в России.
На новых клиентов можно посмотреть и с учетом способов дистрибуции и маркетинга. Откуда к вам приходят новые клиенты? Вы больше продаете с сайта? Возможно, вам нужно применять следующие инструменты:
Анализ юнит-экономики по каналам привлечения. Стоимость и окупаемость привлечения.
Эффективные рекламные компании.
Анализ конверсии переходов в целевые действия.
Улучшение процесса покупки, Customer journey map (CJM) покупки.
Юнит-экономика.
Тематические СМИ, лидеры мнений и т. д.
Если больше новых клиентов приходит через отдел продаж, вам нужно напрямую принять участие в продажах. Проанализировать воронку продаж, выявить этапы покупки. Нужно разобраться, что мешает полученным лидам конвертироваться в покупку, измерить конверсию на этих этапах:
Холодный → Заинтересованный → Демо → Триал → Покупка → Повторная покупка
Возможно, стоит дополнить нашу модель новыми данными о конверсиях. В примере мы не будем усложнять и декомпозировать User Acquisition модели на пару составляющих:
Поток потенциальных клиентов на входе в воронку — Lead Acquisition (LA)
Конверсия в покупку на выходе из воронки — Customer conversion (CC)
Потерянные клиенты. Это тоже очень важные ребята, потому что, забывая про них, мы можем угодить в «ошибку выжившего». Жизненно важно собрать данные с этих ребят и выяснить, почему они ушли.
Причины могут быть разные: не хватает ценности, не поняли, как купить, не понравился клиентский сервис и даже банально забыли оплатить, а мы не предлагаем им автопродление при покупке.
Эта информация поможет уточнить конкурентов: раз клиент ушел — значит, нашел лучшее для себя решение. А это значит, что нам нужно проанализировать этого конкурента.
Последним рассмотрим время жизни. Эта метрика говорит о том, сколько времени вашим продуктом в среднем пользуются, а значит, потенциально заплатят.
В первую очередь можно посмотреть, как LT:
изменяется во времени;
соотносится с LT конкурентов;
соотносится с вашим целевым LT.
Абстрактный пример: спортивному клубу с типичными для рынка Иркутска расходами, ценностью, средним чеком и каналами привлечения нужно целевое LT, близкое к 6 месяцам, для преодоления точки безубыточности.
Время жизни можно декомпозировать на составляющие дальше, например DAU, WAU, MAU, Retention и др.
Подведем итог
Как вы уже заметили, все силы, влияющие на наше дерево, обладают собственными метриками, которые можно декомпозировать дальше. Таким образом, это упражнение можно выполнять бесконечно.
Однако стоит понимать, что влияние на метрику 10-го уровня будет менее результативным, чем, например, влияние на метрику 3-го уровня. Поэтому принято влиять на верхнеуровневые метрики, чем добиваться их роста.
Абстрактный пример визуализации дерева метрик продукта с NSM — выручка за месяц
Измерять эффект от управленческого решения проще и эффективнее при помощи низкоуровневых метрик. Но благодаря дереву и математической модели вы понимаете, как связаны верхние и нижние метрики.
В конце концов, дерево метрик — это просто способ визуализации формулы, по которой вы моделируете экономику вашего бизнеса с целью формирования гипотезы и приоритизации фич, задач и управленческих решений. Например, такая, как у нас получилась выше:
Справедливости ради нужно отметить, что эта модель пока еще не учитывает наши расходы, кроме расходов на привлечение. А это огромная составляющая нашего продукта и бизнеса. Составляющая, ветви которой можно тоже декомпозировать для принятия верных управленческих решений на основе данных.
Если будет интерес к этой части финансовой модели продукта, пишите в комментарии и я разберу расходы на продукт в одной из следующих статей.
Если вам было интересно, или вы хотите высказаться по теме пожалуйста пишите комментарии или сразу в личку, буду рад.
Руководство к применению дерева метрик
Определите NSM и поставьте ее во главу дерева.
Двигайтесь от общего к частному и декомпозируйте метрики на составляющие, учитывая специфику вашего бизнеса и монетизацию.
Начните собирать значение метрик (эти метрики мы будем растить).
Соберите модель, поиграйтесь со значениями, определите веса метрик.
Определите, какие силы влияют на важные метрики, сформируйте идеи.
Определите низкоуровневые метрики, которые характеризуют эти силы, — они помогут сформировать вам гипотезы из идей (эти метрики более технические, их изменение проще измерить).
Приоритизируйте гипотезы по степени влияния на NSM.
Смоделируйте влияние топа из этих гипотез на NSM, оцените коммерческий эффект от управленческого решения.
Запускайте эксперимент или принимайте управленческое решение.
Измеряйте результат.
Актуализируйте дерево и начинайте снова.
