Метрики разные нужны, метрики разные важны11.10.2015 21:08

Пару недель назад в блоге венчурного фонда Andreessen Horowitz появились две интересные записи, посвященные метрикам стартапов. Первая статья была посвящена 16 метрикам, которые нужно мерить каждому стартапу. Вторая дополняла этот список еще 14-ю метриками.

В каждой статье уделялось место экономическим и продуктовым показателям, а также форматам их представления. Тем не менее, всех их объединяло одно — это те метрики, которые интересуют инвесторов, оценивающих потенциальные возможности того или иного продукта. И эти показатели должны давать понимание, куда движется продукт в настоящий момент времени, задавать вектор направления развития.

Перечислим их кратко:

Экономические и бизнес-показатели

Annual Run Rate
ARPU
Валовая прибыль
LTV
CAC

Продуктовые показатели и показатели вовлечённости

Активные пользователи
Отток
NPS
Зарегистрированные пользователи
Количество загрузок

Среди форматов представления и оценки показателей были упомянуты когортный анализ и некоторые интересные диаграммы.

Наш тренинг, который ведёт Дарья Рыжкова, также посвящён в первую очередь тем продуктовым метрикам, которые помогают двигаться дальше. Поэтому мы и спросили у Дарьи, что она думает по-поводу тех показателей, которые были упомянуты a16z в первый и во второй разы – о разнице между ними.

Наверное, это один из наиболее полных и полезных обзоров бизнес-показателей, которые я встречала за последнее время. К сожалению, очень часто бизнес-показатели (такие как средняя выручка в месяц или количество пользователей в месяц) становятся продуктовыми показателями. Что абсолютно логично с точки зрения бизнеса, но абсолютно бесполезно для продукта — они не дадут вам понимания, куда двигаться дальше.
Многие из продуктовых метрик, которые упомянуты в статье, безусловно, требуют внимания менеджера продукта, но большая часть из них являются именно бизнес-показателями. На их значения можно оказывать влияние, и не меняя самого продукта, а регулируя ценовую политику, проводя рекламные кампании или грамотно закупая трафик. Они могут просто сами расти вверх со временем. И вот тут нужно быть очень осторожным, потому что когда такие бизнес KPI становятся продуктовыми метриками мы попадаем в ловушку собственных ожиданий и тешим свое тщеславие, глядя на растущие вверх графики.

К подобным метрикам можно отнести:

Количество пользователей. Метрика не дает никакого представления о том, что произошло с продуктом сегодня и насколько это хорошо или плохо, что сегодня к нам пришли 100 человек. Безусловно, охват важен, но без сегментирования и анализа поведения этой аудитории, он не говорит нам абсолютно ни о чем.
Выручка. Чаще всего становится продуктовой метрикой, хотя мы можем добиться роста выручки, не меняя продукта вообще, например, регуляруя ценовую политику, проводя рекламные кампании и т.д.
Количество скачиваний. Безусловно, скачивания оказывают какое-то влияние на нашу позицию в магазинах мобильных приложений. Но с точки зрения анализа поведения пользователя, лучше попробовать посмотреть конверсии, которые покажут вовлеченность загрузивших приложение пользователей в ваш продукт.
Время сесии. Очень сложно оценить качественно эту величину, не производя анализа действий аудитории. Например, нам может показаться, что если время сессии увеличилось с 1 минуты до 5, то это хорошо. Но что если окажется, что 4 из этих 5 минут пользователь пишет обращение в саппорт в форме обратной связи?
Like/Share и прочая социальная активность. Пока вы не поймете, сколько тратите на каждый Like/Share и сколько зарабатываете с каждого Like/Share, эти значения не будут вам говорить ровным счетом ни о чем.

Можно ли как-то понять, какие метрики будут полезными?
Основное, что нужно помнить, что хорошая метрика — всегда относительная, а не абсолютная величина. Относительные величины во-первых, дают возможность понять, как вы можете повлиять на изменение значения показателя. Во-вторых, они сравниваемы по своей природе, и вы всегда сможете оценить значение показателя с аналогичным за предыдущие периоды времени или с вашими конкурентами. В этом плане конверсии на каждом шаге воронки продаж могут стать хорошим примером подобных относительных величин.
Не стоит забывать о том, что аудиторию надо сегментировать и смотреть, как меняется ее поведение с течением времени. Многие крупные проекты с многотысячной, а иногда и миллионной аудиторией, на мой взгляд, совершают ошибку, что не используют инструменты сегментирования и когортного анализа. Например, если посмотреть на тот же отток (долю пользователей, которые перестали пользоваться продуктом) по когортам в разрезе разнообразных сегментов, то можно найти огромное количество инсайтов. Нужно очень четко понимать, для кого вы делаете ваш продукт и как он воспринимается вашими пользователями. Зная их потребности, ожидания и восприятие вашего продукта, выбирать дальнейшие шаги становится значительно легче.

Изучайте метрики глубже и концентрируйтесь на тех, которые действительно помогают вашему продукту развиваться!