Сожгите свои отчёты
Все отчеты лгут
Я ежедневно читаю статьи по продвижению в интернете, маркетинговым акциям, A/B-тестированию и другим подобным штукам. И регулярно натыкаюсь на полное непонимание авторами влияния на их результаты небольшой, но очень важной детали под названием «дисперсия». Между тем, она может полностью разрушить всю логику исследования и даже выдать результаты прямо противоположные тому, что случилось на самом деле.
Для того, чтобы всерьез поговорить о дисперсии, придется дать ей определение. Это будет единственный сложный абзац в статье, обещаю.
Дисперсия — это мера разброса случайной величины вокруг математического ожидания. Когда мы подбрасываем монетку, то знаем, что получим «орел» или «решку» в каждом отдельном испытании с вероятностью в 50%. С другой стороны, каждый понимает, что при серии в 100 подбрасываний мы вряд ли получим 50 раз «орел» и 50 раз «решку». Результат каждый раз будет находиться где-то около ожидаемого значения, но будет отличаться. Величина этого разброса и определяется дисперсией.
В онлайн-сервисе castlots.org мы «подбросили» пять рублей сто раз. Результат: 54/46 в пользу «орла».
Все гипотезы лгут
То, что интуитивно понятно с монеткой, почему-то перестает восприниматься, когда речь идет о других процессах, где случайность также присутствует.
Давайте я опишу сейчас типичную и, наверное, самую частую ошибку такого типа, а потом попробуем применить её к вашей деятельности.
Представьте предпринимателя Ивана, который дает рекламу в гугле с целью привлечь покупателей в интернет-магазин. Он настроил объявление, проплатил его. Кампания работает. Один клик на объявление стоит Ивану в среднем от 1 до 2 долларов, а прибыль от каждой продажи составляет 150 долларов.
Мы были очень голодны, когда заливали эту колонку на Spark.ru
10 показов. 30. 100. Продаж пока нет. 300 показов. 500 показов. К этому моменту две продажи. Иван потратил 750 долларов.
Реклама вырубается в гневе как неэффективная. Вся история начинается сначала. Запускается другое объявление…
500 показов. Пять броней. Делается вывод — хм, эта кампания в два с половиной раза эффективнее предыдущей. Зальем туда денег побольше.
100 показов, 500. 1000 показов. 4 брони. Результат внезапно упал, до результата прошлой кампании. Черт, оно перестало работать.
Где логическая ошибка Ивана? Иван принял решение об эффективности рекламы на основе слишком малой выборки. И дисперсия, которая безусловно присутствует в этом процессе, обманула его.
Вот пример не «потенциального Ивана», а из нашего бизнеса. Наши партнеры в США дают рекламу своих квестов на гугле. Цена клика для них получается около 30 центов, а средняя продажа приносит 25 долларов. Конверсия сайта из посетителя в покупателя составляет около 3%, т.е. каждый гость сайта с вероятностью в 3% становится покупателем. Мы покупаем трафик в 100 человек и ведем их на сайт.
Реклама как бы намекает о нашей международной экспансии
Как может выглядеть график такого процесса? Как будут выглядеть наши конкретные прибыли (или убытки)? Я не стал откладывать все это в долгий ящик и с помощью экселя визуализировал результаты такого эксперимента.
Я провел четыре эксперимента и вот такие у меня получились графики:
Разброс результатов в случайных процессах может превышать десятки раз
Еще раз обращаю ваше внимание — это один и тот же процесс. Все параметры у него одинаковые.
Но разброс случайной величины превращает наш итоговый результат то в 150 долларов (верхний правый график), то в 20 долларов. Разница больше чем в семь (!) раз.
В чем беда? Что не так? Проблема в системе? Может быть, 3% конверсии — это мало? Сразу предупрежу — теоретически тут все нормально. Построенная нами система имеет положительное матожидание (не буду объяснять, что это такое и почему так, просто примите на веру).
Проблема в том, что мы использовали слишком маленькую выборку.
На сто испытаний влияние дисперсии столь велико, что мы можем получить катастрофически разные результаты.
Мы снова зашли на симулятор и подбросили пять рублей еще сто раз. Результат: 49/51 в пользу… «решки».
Давайте увеличим дистанцию. Итак, еще четыре эксперимента, на этот раз по 1000 испытаний в каждом:
Вроде бы, все уже не так плохо. Лучший и худший результаты различаются всего в два раза. Пойдем до предела и проведем 10.000 испытаний:
Ну наконец-то. За четыре эксперимента мы получили разброс всего в 10%. 10.000 испытаний. Один и тот же случайный процесс. И разброс 10%.
По секрету скажу, что для идеального совпадения результатов нужно примерно 100.000 испытаний.
И что с того?
Когда вы оцениваете результат некоторого процесса с низкой вероятностью успеха, например, изменения дизайна на сайте с конверсией 3%, необходимо использовать достаточно БОЛЬШУЮ выборку испытаний, чтобы доверять итоговому результату. Как видно из примеров выше, выборка должна быть в районе 100.000 испытаний.
Если вы пытаетесь понять, как текст или картинка на лендинге влияют на продажи, необходимо провести достаточное количество испытаний.
Оценивать эффективность изменений на выборке в 1000 посетителей — значит изучать белый шум.
Важно, что это правило работает также и вне интернета. Если вы раздаете в городе флаеры или клеите афиши, их надо раздавать и клеить очень много. Подозреваю, что конверсия у флаера в продажи будет куда меньше 3%, а потому количество в 10 — 30 тысяч штук — минимальный порог, при котором можно оценить эффективность канала. Все остальное — случайность. Дисперсия.
Фото: Snob.ru
Чем выше вероятность наступления нужного вам результата, тем меньшая выборка нужна, чтобы оценить результат. Например, если вы тестируете на сайте кнопки двух цветов, и одна дает конверсию на 40% больше, выборки в 10.000 испытаний будет, думаю, достаточно.
Теперь вспомните все тысячи исследований и примеров, которые вы видели в интернете, где данное правило не выполняется. И смело отправляйте их в мусорную корзину. Глядишь, освободится место для чего-то реально полезного.
Артем Крамин, основатель сети «Выйти из комнаты».
Фото на обложке: предприниматели, недооценившие силу дисперсии, протестуют на улицах Асунсьона, Парагвай. © www.thequint.com
© vc.ru
