Кейс из России: Исследование аудитории email-канала Banki.ru при помощи когортного анализа26.05.2016 18:22

Ранее мы писали о когортном анализе и его применении на несегментированной базе. Теперь на примере информационного портала Banki.ru расскажем, какие выводы можно сделать в анализе пользователей с различным источником трафика.

Разделение подписчиков на источники позволит сравнить их между собой и для каждого источника определить способ улучшения показателей. В частности, можно будет ответить на следующие вопросы:

• Какой источник стоит улучшить, чтобы получить наибольший эффект?
• Изменение какого источника не даст результат?
• Какой источник исчерпал себя и его следует закрыть?

Размер когорты равен неделе. Количество когорт — 100, то есть анализ проводился примерно за два года. Исследуемые источники трафика: кредит, автокредит, дебет, вклады и ипотека. На графиках отсутствуют показатели активности.

Перед проведением анализа возникло две основных трудности:

• так как рассылка проводится только по активным подписчикам, то использовать привычные показатели (процент открытий, кликов, жалоб, отписок) бессмысленно. С каждой рассылкой количество неактивных пользователей уменьшается, соответственно снижается количество отправленных писем. Из-за этого показатели активности не изменяются, так как не изменяется количество активных подписчиков;
• у каждого источника трафика разная скорость добавления пользователей. Например, у источника «кредит» поступление подписчиков было регулярным, поэтому выбор размера когорты в одну неделю оправдан. А у источника «ипотека» пользователи добавлялись нерегулярно. Согласитесь, анализировать данные, когда в одной когорте 250 подписчиков, а в другой 5 — бессмысленная затея.

Первую проблему удалось решить, взяв за измеряемый показатель величину «активные подписчики». Это те подписчики, которые открыли хотя бы одно письмо за период времени, равный размеру когорты. Таким образом, показатель зависит не от количества отправленных писем, число которых уменьшается пропорционально увеличению числа неактивных подписчиков, а от общего количества пользователей в когорте, число которых незначительно уменьшается только за счёт отписчиков и жалобщиков.

Что касается второго пункта, то проблема решена увеличением размера когорты у источников трафика «дебет» и «ипотека» с 7 до 28 дней. Это позволило получить данные без нулевых когорт. При таком подходе есть вероятность, что размер когорт у этих источников будет выше, так как времени на сбор подписчиков у этих источников было в 4 раза больше.

Легче всего это проверить, взглянув на диаграмму размаха каждого источника. По этой диаграмме видно точное распределение когорт в каждом источнике трафика. После удаления когорт, являющихся выбросами, диаграмма размаха имеет вид, показанный на рисунке 1. В данном случае выбросами являются те когорты, количество подписчиков в которых сильно отличается от остальных когорт в данном источнике.

Рисунок 1. Распределение числа подписчиков в когорте в зависимости от источника трафика

Если основываться на медиане каждого источника (величина, которая делит выборку на две части — меньше медианы и больше) и межквартильном интервале (голубая область на графике), то и без точных количественных показателей можно дать оценку каждой группе. У источника трафика «дебет» и «автокредит» медиана близко расположена к одному из квартилей, а значит выборка несимметрична.

Нижним квартилем является величина, значение которой больше 25% значений в выборке, а верхним квартилем является величина, значение которой больше 75% значений в вуборке. У «дебета» преобладают когорты с малым числом подписчиков, а у «автокредита» с большим. У «вкладов», «ипотеки» и «кредита» выборка симметрична, но большой разброс данных. При этом ни у одного из источников нет большого перевеса в количестве пользователей в когорте. Все эти факты необходимо учитывать при анализе активности.

В статье будем оперировать следующими понятиями: время «жизни» подписчика и диапазон затухания. Время «жизни» это та неделя, когда непостоянные пользователи теряют интерес к рассылке. Диапазон затухания — разность между показателем активности в первую неделю и активностью в точке затухания. На примере источника трафика «вклады» (рисунок 2) видно, что непостоянные подписчики уходят на 10-ой неделе «жизни», а диапазон затухания — разность между активностью в первую неделю и в 10-ую. Точками на графике обозначена активность каждой когорты в различный период времени.

Рисунок 2. Показатель активности подписчиков с источником трафика «вклады»

Что касается диапазона затухания, то если он приблизительно равен 0, то перспектив для развития емейл-маркетингового канала не так много и единственный способ увеличить прибыль — привлекать большее число пользователей на этот источник за счёт других видов интернет-маркетинга. Если наоборот, диапазон затухания имеет большое значение, то это говорит о несоответствии ожидания подписчиков от рассылки, но также говорит и о том высоком потенциале такой рассылки. На рисунке 3 показан сравнительный график всех источников трафика.

Рисунок 3. Сравнение всех источников трафика

По графику можно сделать следующие выводы:

у источника трафика «дебет» наивысший показатель активности. Причин такому явлению может быть несколько:

• размер когорты 28 дней вместо 7-и. В этом случае у подписчика было в 4 раза больше шансов открыть хотя бы одно письмо, чем у пользователей с другими источниками. Возможно, по этой причине диапазон затухания равен 0. Против такого вывода говорит то, что у пользователей с источником «ипотека» размер когорты такой же, но на активности это никак не сказалось;
• как мы уже отмечали, у источника «дебет» преобладают когорты с малым числом подписчиков. Такие когорты ведут себя непредсказуемо и могут спонтанно показывать как хорошие, так и плохие результаты;
• из-за того что у источника «дебет» размер когорт в 4 раза больше, то количество когорт в 4 раза меньше, а соответственно и меньше число измерений. Количество измерений возрастает пропорционально количеству когорт по арифметической прогрессии. И если в исследовании принимает участие 100 когорт, то число измерений будет 5050, а при 25-и когортах всего лишь 325. Это напрямую влияет на размер доверительного интервала (серая область вокруг графика) и на достоверность данных.

У источника «ипотека» такая же ситуация, как и у «дебета» — диапазон затухания равен 0. Но если у «дебета» высокий показатель активности, то у «ипотеки», напротив, низкий. Изменение рассылок для этих источников не даст ощутимый результат, поэтому у «дебета» перспективным направлением для улучшения является привлечение большего числа подписчиков, а у «ипотеки» нужно менять подход к отправке писем.

Среди остальных источников у «вкладов» самый низкий диапазон и самая высокая скорость затухания. Как ни странно, но потенциальным ростом данного источника будет расширение диапазона затухания. Стартовое письмо необходимо сделать более привлекательным, чтобы увеличить процент в первую неделю, а вслед за этим увеличится и число постоянных пользователей. Улучшение у этого источника будет за счёт количества!

У источников «кредит» и «автокредит» диапазон затухания гораздо выше, чем у «вкладов». Здесь показатели необходимо улучшать не за счёт количества (это даст эффект только на первых этапах рассылки), а за счёт качества. Необходимо вводить цепочки специализированных писем и планомерно улучшать показатели рассылок, сужая диапазон затухания.

Конечно, мы проанализировали только часть, касающуюся активности подписчиков в рассылке. Также можно учитывать информацию о стоимости привлечения подписчика и прибыли, которую он приносит за время жизни в рассылке. Но даже и без этих данных достаточно точно можно сравнить источники и определить наилучший из них, разобрать отдельно каждый канал и выявить, ухудшается отношение к рассылке с течением времени или нет, найти точку затухания интереса к рассылке и много другое.

Присылайте собственные кейсы, в результате которых вам удалось заметно улучшить (или, наоборот, ухудшить) показатели проекта, на what@growthhacks.ru. Интересные эксперименты обязательно попадут на страницы рубрики Growth Hacks.