Собирать данные VS интерпретировать их: типичные ошибки в e-commerce аналитике
Каждый день мы собираем больше 200 ГБ данных о клиентах Lamoda, которые листают сайт и делают заказы. Но красивые цифры про наше хранилище — это одно, а правильные выводы из данных — совсем другое.
Меня зовут Александр Айваз, я руковожу командой Data & Analytics в Lamoda Tech. И сегодня расскажу об ошибках, которые легко совершить, пытаясь анализировать данные в ретейле и e-commerce. Уверен, кому-то статья поможет иначе взглянуть на собственный продукт — или даст представление о том, с какими вопросами работают продуктовые аналитики в нашей сфере.
Конечно, многие из этих ошибок когда-либо совершали и мы сами. В статье я постараюсь не углубляться в цифры, а расскажу о причинах на собственном примере.
1. Deaveraging. Почему не существует «среднего» клиента
С давних времен мы считали, что у клиентов Lamoda есть одно общее качество: они покупают, чтобы получить порцию эндорфинов. Новая одежда для них — это вдохновение. С ней они становятся моднее и интереснее, непохожими на других.
Мы жили в этой парадигме: целились в таких клиентов, искали их, думали, как зацепить рекламой. Тестировали на них. В ранжировании каталога отдавали предпочтение последним коллекциям и новым поступлениям. Естественно, это приводило к тому, что мы таких клиентов находили. Но огромное количество людей упускали по дороге.
Проблема была в том, что мы смотрели на картину в среднем, видели в аналитике общие цифры за месяц или за день. Видели, что продали столько-то корзин с таким-то средним чеком, что клиенты покупают с частотой, например, раз в три месяца. В общем, смотрели на среднюю характеристику нашего среднего клиента.
Но так мы видели лишь малый процент своей клиентской базы. Если нырнуть глубже и кластеризовать ее, становится понятно, что есть клиенты, которые делают по три заказа в день, а есть те, кто делает заказ один раз в полгода. А в среднем выходила цифра, которая ничего не рассказывала нам о реальных покупателях.
Сейчас мы выделяем 13 крупных сегментов клиентов. Все они разные: покупают разные вещи с разной частотой, у них разные требования к продукту. Для одних важен размер скидки, для других — доставка на следующий день. Теперь мы предлагаем каждому клиенту то, что нужно именно ему, а не «среднему» пользователю.
2. Ошибка выжившего. Дельфины спасли не всех
Ок, со среднестатистическими пользователями разобрались. Теперь мы все делаем как надо: изучаем разные сегменты покупателей. Изучаем глубоко, но все равно ошибаемся — нужно смотреть еще и широко. Нужно смотреть на покупателей вообще, а не только на своих клиентов, иначе мы совершаем ошибку выжившего.
Хрестоматийный пример такой ошибки — история с дельфинами. Наверняка вы слышали о случаях, когда дельфины помогают тонущим и выталкивают их носами на поверхность. Дельфины вообще любят играть, толкая предметы носом. Вероятно, существуют люди, которых дельфины не вытолкали на поверхность, а наоборот, утащили вглубь, под воду. Но мы не можем узнать об этом, ведь мы слышим слова только благодарных выживших. А число погибших от дельфинов нам неизвестно.
В бизнесе мы также исследуем только «выживших» — своих клиентов — и делаем вывод из этой статистики. И, возможно, упускаем огромный кусок бизнеса: не предлагаем товары или сервисы, которые не представлены у нас или представлены мало.
Предположим, что большинство клиентов покупает на Lamoda одежду и обувь. Отсюда можно сделать вывод, что нашу клиентскую базу не интересует спортивный инвентарь, а значит, эту категорию не нужно развивать, потому что сейчас рентабельность одежды и обуви гораздо выше. И если мы на 100% заполним склад одеждой, то сможем зарабатывать больше денег.
Но правда в том, что гантели и коврики для йоги у нас покупают не так часто, как одежду, потому что мы никогда не развивали этот сегмент. Вряд ли кто-то придет на Lamoda выбирать тренажеры: люди привыкли покупать их у других продавцов.
Но на самом деле этот рынок больше, чем нам кажется. Просто мы никогда не инвестировали в него свое время, не занимались аналитикой потребительского спроса, поведения. Не смотрели на эластичность спроса в зависимости от цены. Там другая юнит-экономика: гантели не берут сразу по 10 штук, чтобы вернуть неподходящие, как это делают клиенты с одеждой.
Замечать такие ошибки и искажения нам помогают исследования покупателей. Если мы проводим опросы или фокус-группы, то привлекаем для них не только нашу текущую аудиторию, но и тех, кто никогда не покупал на Lamoda. Это дает более объективные данные о рынке в целом.
3. Каузация и корреляция: главное не перепутать
Когда мы наблюдаем два явления одновременно, это не означает, что между ними есть причинно-следственная связь. Например, каждое лето растут продажи мороженого. Но при этом растет и число солнечных ударов. Отсюда можно сделать ошибочный вывод, что если мороженое запретить — то и солнечные удары прекратятся.
В работе мы часто совершаем подобные ошибки. Видим, что клиенты больше покупают, и одновременно некая метрика растет. Потом эта метрика падает — и клиенты покупают меньше. В этот момент легко попасть в ловушку и решить, что здесь есть прямая связь, и так можно влиять на поведение клиентов.
Приведу пример из нашей практики. В Lamoda есть возможность доставки с примеркой: люди заказывают несколько размеров и моделей, чтобы выбрать подходящую вещь. То, что не подошло, отдают обратно курьеру или в пункт выдачи.
Но существует и доставка без примерки. От таких заказов люди отказываются гораздо реже.
Так может, стоит просто убрать возможность примерки? Тогда процент отказов и возвратов упадет, и наша прибыль вырастет.
Нет. Доставку без примерки выбирали покупатели, уверенные в своем выборе: например, они заказывали средства гигиены или аксессуары. Но если мы всех пользователей лишим примерки, то многие перестанут у нас покупать. И прибыль в итоге упадет.
4. Очевидное не значит удачное
Все нужно тестировать и подвергать критике. Даже гипотезы, которые на первый взгляд кажутся логичными и полезными.
На Lamoda периодически появляются динамические фильтры. Это дополнительные кнопки с подборками: «Одежда для пикника» или «Для поездки на море». Такие сезонные фильтры выглядят логично, правда? Но мы тестируем их уже много лет, по разным темам, — они не взлетают.
К счастью, эти фильтры не портят метрики, поэтому иногда по просьбе коллег мы возвращаемся к идее и продолжаем эксперименты. Другое дело, когда на гипотезу затрачено время, ресурсы, деньги, возможно, упущена какая-то другая выгода. А метрика в итоге имеет отрицательный показатель.
Хороший пример того, как очевидная идея может уронить прибыль — продвижение сезонных товаров. Например, летом растут продажи футболок, шорт, сланцев. Так может, начать показывать их первыми? Отдать им предпочтении в ранжировании каталога и показывать в первую очередь — так и продажи должны вырасти?
Нет. Если за этими товарами люди идут сами, они все равно их купят. Но если при этом мы перестанем показывать штаны, сумки и так далее, — их станут меньше покупать: клиенты просто не вспомнят о том, что сейчас не по сезону.
5. Ramp up, ramp down: дождитесь реальных результатов
Иногда изменений в бизнес-метриках приходится ждать действительно долго.
В новых городах мы открываем пункты выдачи заказов по определенной схеме. Сперва появляется курьерская доставка — с помощью партнеров или наших собственных служб. Это недешево для компании, но так мы можем оценить спрос. Когда накапливается критическая масса заказов, открываем пункт выдачи.
Клиенты в городе уже привыкли к курьерской доставке, о пункте выдачи они какое-то время не знают. Также должно пройти время, прежде чем они решатся на новый заказ. А вот затраты на работу нового пункта мы начинаем нести сразу после его открытия.
Если бы мы не знали о том, что после открытия будет провал в прибыли, мы бы так и не смогли появится во многих регионах.
В тестировании некоторых фичей тоже работает этот эффект. У нас бывают изменения, которые влияют на повторную покупку или на возвращаемость пользователей. Чтобы увидеть, как изменения коснутся клиентов, которые совершают покупки раз в полгода, приходится запускать действительно долгие тесты.
Кроме того, некоторые изменения могут выстреливать на короткий срок —, а дальше только ронять выручку. Или наоборот. Мы постоянно учимся предсказывать и анализировать такие ситуации.
6. Ничего не решаем, ждем аналитики
Lamoda Tech называет себя data-driven компанией неслучайно. У нас есть собственная A/B-платформа, несколько команд аналитики, команда исследователей пользовательского опыта. Все продуктовые решения подкреплены экспериментами. Но иногда сбор данных и их аналитика — это и есть самая большая ошибка.
Представьте: на сайте внезапно падает конверсия в покупки. У нас несколько гипотез о причинах произошедшего, но нет возможности собрать всю доступную информацию и провести исследование, ведь проблему нужно решать прямо сейчас.
Поэтому мы проводим быстрые исследования — и принимаем решение только на основе своих знаний о сайте и пользователях. Вносим изменения, основываясь на гипотезах, не дожидаясь полной картины. Если изменения положительно скажутся на конверсии, мы их внедрим. Если нет, то посмотрим на результаты и попробуем другие шаги.
Можно бесконечно долго анализировать причины и последствия снижения конверсии. А можно выдвинуть гипотезы, выбрать наиболее валидную — по собственному опыту и по общению с ограниченной выборкой пользователей — и запустить ее в A/B-тест.
Иногда у нас нет времени и возможности собрать данные, оценить риски и просчитать прибыль. Приходится опираться только на свой опыт и знания. Кроме того, в определенный момент дальнейший сбор информации о вариантах решения обходится дороже, чем неправильный выбор. И тогда лучше ошибиться, чем не делать ничего.
Кстати, поэтому один из главных принципов в Lamoda Tech — не бояться ошибок. Постоянное общение в команде и обмен опытом помогает нам не наступать на одни и те же грабли.
Надеюсь, что примеры из статьи будут полезны не только нам. Если вам есть чем их дополнить, делитесь в комментариях!
