Методы тестирования сайта при маленьком трафике — Колонка аналитика Kokoc.com19.04.2016 15:07

Аналитик Kokoc.com Татьяна Тюпина

Масса клиентов, заходящих к нам в агентство, задают этот вопрос: как тестировать изменения на сайте, если трафика с гулькин нос, а руки чешутся. В какой-то момент мы поняли, что тема бешено популярна, и написали что-то вроде инструкции для тех, кто собирается «повторить в домашних условиях».

Понятно, что агентства недвижимости в сегменте «люкс», у которых на сайте 100 уникальных пользователей в сутки, но очень сладкий барыш с одного клиента, вряд ли будут самостоятельно штудировать функции нормального распределения — скорее всего, они потратятся на специалистов. Но владельцы небольших интернет-магазинов, работающих в условиях высокой конкуренции, вполне могут воспользоваться этими методами.

Для начала убедитесь, что вашего трафика действительно не хватает для проведения A/B-тестирования. Может, вы драматизируете?

Расскажу, как определиться с лимитом. Назову очень примерный показатель в 5 тысяч уникальных посетителей в неделю на страницу. Эти данные можно выявить в ходе математических рассуждений и формул. Не будем здесь углубляться в статистику и воспользуемся калькулятором Эвана Миллера для определения объема выборки.

Чтобы рассчитать необходимое число измерений, нужно задать в калькуляторе четыре параметра:

• текущее значение конверсии варианта A (например, старый вариант страницы, которую вы хотите заменить);
• предполагаемое изменение конверсии — разница между значениями конверсий вариантов A и B (предполагаем на основе анализа отвалов в Google Analytics с учетом серьезности планируемых изменений);
• две вероятности ошибок (как правило, их значения в стандартном интервале — 10% и 20%).

Вот что получится у нас, если уровень конверсии равен 1%, предполагаемое изменение в конверсии равно 0,4%, вероятность ошибок закладываем как 20% (значение бета) и 10% (значение альфа). Желаемая длительность теста составляет около двух недель — в этом случае рынок не успеет измениться. Тогда калькулятор нам сообщит, что необходимо набрать примерно 10 тысяч. Умножаем на число вариаций (2 — вариант А и B) = 20 000 посетителей. При существующем числе посетителей в 10 тысяч за неделю за две недели мы как раз сумеем набрать 20 тысяч посетителей.

Если меньше, то тестирование грозит затянуться — понадобится не меньше трех недель, чтобы получить статистически значимые результаты. Грамотно рассчитать тестовый период помогут те же калькуляторы, например, VWO. Этот сервис рассчитывает период примерно по тому же принципу, что и калькулятор Эвана Миллера. Только VWO считает не количество посетителей, а число дней, в течение которых надо проводить тест.

Лавируя между калькуляторами, учтите главное: чем больше вариантов страницы вы хотите протестировать, тем больше трафика вам понадобится.

Недостаток трафика — это не проблема сама по себе

Определяющим является число целевых действий (конверсий), совершаемых на исследуемой странице. Перед тем, как приступить к A/B-тестированию, вы должны выбрать, что считать успехом. Чем меньше «успехов» у вашего сайта, тем длиннее будет тестовый период. Для запуска простого варианта A/B-тестирования на вашем сайте должно совершаться не меньше 500 конверсий в неделю — по 250 на каждый тестируемый вариант.

Посмотрим, откуда взялись эти показатели. Большое число желаемых конверсий связано с таким понятием в статистике, как нормальное распределение чисел. Не углубляясь, скажу, что уровень конверсии должен быть не меньше 1%, иначе величина сравнится со значением погрешности. Тогда наше распределение расползется по координатной оси, и не будет понятно, где же на самом деле находится его среднее значение (возможное среднее значение на рисунке).

А когда у нас довольно большой уровень конверсии, тогда и распределение узкое, и среднее значение определяется точнее. Исходя из предположения, что на сайте было 10 тысяч посетителей в неделю, при 500 конверсиях в неделю мы получаем конверсию в 5%. Если коэффициент будет сильно меньше, тогда и отделить одно распределение от другого станет существенно сложнее.

Предположим, нет у вас этих 500 конверсий в неделю.

Другой вариант: количество ваших конверсий по одной из страниц должно разительно отличаться от этого числа по другой странице. Например, 20 против 40 подойдет — в этом случае можно получить адекватные результаты A/B-теста. Если в результате тестирования процент конверсии у одного из вариантов возрастет в 1,5 или даже в 2 раза, то отделить одно распределение от другого не составит труда. Если ваш коэффициент конверсии небольшой, не печальтесь — создайте настолько отличимый дизайн сайта, чтобы это значение увеличилось заметно.

Трафика достаточно, а конверсий мало

В этом случае попробуйте изменить определение конверсии на что-то более часто повторяющееся. Например, клик на конкретную вкладку на сайте вместо помещения товара в корзину или оплаченной регистрации. В VWO в качестве цели вы можете использовать такой параметр, как вовлеченность — клик на любой элемент с сайта.

Объем трафика для мультивариантного тестирования

Мультивариантное тестирование представляет собой усовершенствованный A/B-тест, при котором вы можете сравнивать эффективность разных вариантов страниц с большим числом разных изменений на каждой. Такое тестирование потребует в разы больше трафика, потому что каждую страницу нужно будет показать одинаковому числу пользователей для достижения статистической значимости.

Предположим, мы тестируем три версии двух элементов дизайна (два разных цвета для трех разных кнопок). То есть вместо привычных пяти тысяч в неделю нам потребуется 3^2×5 000 = 45 тысяч. Но это еще не все. Помните про вероятность ошибки? Так вот, если при данной выборке вероятность одной из ошибок была равна 10%, то при тестировании двух цветов для трех кнопок (на соразмерном количестве трафика для двух вариантов) мы получим такую вероятность ошибки:

1 — (100%-10%) *(100%-10%)*(100%-10%) = 27%.

27% неприлично больше приемлемых 10%. Вывод: надо значительно увеличить трафик, чтобы снизить влияние этой ошибки. Ну, а если у вас недостаточно трафика для обычного A/B-тестирования, то мультивариантное тем более будет недоступным для вас.

Что делать после достижения достаточного объема трафика

Существуют особые методики, которые позволяют повысить все шансы на получение статистически значимых результатов.

Купите дополнительный трафик на короткое время для тестирования страницы

Найдите возможность — и будете вознаграждены, потому что методика выигрышная. Таргетированная и контекстная реклама, баннеры упоминания о вашем сайте на популярных профильных площадках — дело упирается только в один вопрос: какой бюджет у вас есть. Если вам удалось собрать хорошую базу почтовых адресов, можете устроить массовую рассылку интересных новостей, чтобы привлечь дополнительный трафик на сайт.

Тестируйте текст не на сайте, а в рекламных объявлениях

Запуская контекст, создайте множество объявлений по одному и тому же ключевому слову, но текст пропишите разный. Задайте равномерную ротацию в течение какого-то периода (обычно это 90 дней, но опыт показывает, что хватает и месяца). Так вы увидите, какое из объявлений будет более кликабельным и принесет больше конверсий или прибыли. С этим подходом можно подробнее ознакомиться по ссылке, а сейчас я расскажу о нем кратко.

Начало стандартное. Примерьте «шкуру» своей аудитории и погрузитесь в те проблемы, которые ваши будущие покупатели хотят решить. В рекламных текстах делаете акцент именно на них. Например, вы продаете детское мыло. На основном сайте ваше УТП: вы быстро доставляете, а в случае, если не понравился запах, бесплатно меняете купленное мыло на любое другое. Вы хотите протестировать и другие УТП. Тогда в заголовках или в тексте описания вы можете указать состав мыла, наличие подтвержденных сертификатов о безопасности его использования и тому подобное.

Через пару недель вы замечаете, что объявление с описанием полезного влияния на кожу малыша является наиболее кликабельным. Тогда вы вставляете подобный текст на свой основной сайт и получаете возросший уровень конверсии.

Используйте целевую страницу

Тестируйте вовлеченность пользователей на конкретной веб-странице. Создайте несколько абсолютно разных страниц и распределяйте трафик между всеми. Смотрите на показатель отказов, время на странице, время до конверсий и так далее. Вскоре вы найдете лучший контент и дизайн, которые сможете внедрить на все страницы вашего сайта. Для данного метода можно использовать инструменты Unbounce или Leadpages. Они помогут создать лендинг страниц за короткое время. Вам предложат огромное число шаблонов, которые останется наполнить контентом. Всё. Далее вы помещаете свежесозданные страницы в каталог сайта и следите за их эффективностью.

Проводите качественные тесты с получением отзывов от посетителей

Качественные тесты основаны на получении обратной связи от посетителя. Они — альтернатива количественному методу, опирающемуся только на сухие цифры. Создайте второй вариант страницы, которую вы хотите протестировать, и, используя сервис вроде Usertesting, покажите одному пользователю обе версии страницы.

Этот сервис запоминает пользователя по его идентификатору из cookie и вариант страницы, который показывается. На следующий день пользователь заходит снова на сайт, но ему демонстрируют уже другой интерфейс. После совершения определенных целевых действий посетителя спрашивают о том, какой из вариантов ему понравился больше. Далее внедряете версию, получившую лучший отклик. Такой способ часто приводит к необычным и интересным инсайтам. Я всегда советую его использовать в дополнение к A/B-тестированию.

Используйте методику многорукого бандита, но будьте очень осторожны

Существуют сервисы, гарантирующие получение статистически значимых результатов на небольшом трафике, например, Myna. Это работает так: через какое-то время после выявления победителя (не обязательно статистически достоверного) весь трафик перенаправляется на данный вариант страницы. Если страница действительно хороша, то мы получим высокий коэффициент конверсии. Если все же вариант не очень, то конверсия будет низкой. А значимость нам даст большое число людей, просмотревших именно эту страницу.

Однако подход вызывает резонные опасения. Стать победителем может страница, случайно оказавшаяся хорошо продающей. Зашел наш старый покупатель — ему было неважно, как именно выглядит страница. Его целью было именно совершение заказа. Многие эксперты считают, что данный метод не работает. Слишком велика вероятность попадания неэффективного варианта в топ, после чего он там и останется.

При тестировании на малой выборке всегда есть вероятность ошибки — случайного захода пользователя, готового купить ваш товар независимо от дизайна сайта и его структуры. Если хотите использовать тестирование на действительно маленькой выборке, вы должны неплохо разбираться в математике и быть готовым принять на себя всевозможные риски внедрения того или иного варианта интерфейса. Но знаете, что любопытно? Сам Google Experiments когда-то использовал этот подход для A/B тестирования.

Настройте параметры тестирования вручную

Вы создаете новый вариант страницы и показываете его всем посетителям в течение одной недели. Затем возвращаетесь к предыдущему варианту и показываете пользователям его. Каждый раз отслеживаете все метрики. По прошествии двух недель вы сравниваете значения метрик и выбираете лучший вариант. Такой подход имеет свои недостатки: он не даст вам статистически значимых результатов и ваши пользователи могут быть обеспокоены тем, что им показывают разные варианты страниц. Может прийти один посетитель, который испортит или улучшит всю собранную за неделю статистику, — делать какие-либо выводы будет невозможно.

Как видите, недостаток трафика — это не оправдание бездействия. Заменяющих методик великое множество, и не все срабатывают как надо. Но из десяти идей точно выстрелят две. Не ограничивайтесь этими советами, ищите кейсы, смотрите на конкурентов, анализируйте и подбирайте те решения, которые будут работать в вашей истории. Универсальных рекомендаций не существует. И не бойтесь. Боязнь что-то растерять или уйти в неверную сторону — это тоже не оправдание бездействию.

Присылайте свои колонки и кейсы о рекламе и маркетинге на digital@vc.ru.