Эти [17 ошибок] "похоронят" ваш A/B тест11.11.2015 11:03

Большинство A/B экспериментов делаются неправильно. Это правда. Вполне возможно и ваш последний эксперимент был сделан неправильно. А вы тут сейчас сидите и радуетесь, не подозревая о последствиях.

Кто из вас до старта эксперимента использовал сервисы, которые позволяют посчитать минимальное количество конверсий для получения достоверных результатов? Сомневаюсь, что вас много.

Серьёзно. У большинства, A/B тестирование — это лишь запуск эксперимента. Никакого анализа. Никаких гипотез. Поменял цвет кнопки и сидит довольный. Ждёт роста продаж, понимаешь ли.

Реальность не так сладка, дружок. Всё жёстче, чем ты думаешь. Большинство экспериментов делаются неправильно. Кругом одни и те же ошибки. Ошибки ведут к неправильным результатам. Неправильные результаты — к неправильным выводам. Неправильные выводы — к разочарованиям в самом A/B тестировании или даже убыткам.

И всё становится на свои места: никаких новых и эффективных инструментов улучшения сайта. Всё как обычно. Влил деньги в трафик. Получил посетителей. Заработал свою копейку. И счастлив.

Ну что, приступайте к поиску своих ошибок. Я долго собирал их все. Чтоб вас хоть слегка озарило.

1A/B тестирование без гипотезы

К чему это приводит?

Большинство A/B тестов обречены на неудачу. Случайное тестирование бессмысленно. В 90 % случаев вы просто потратите время зря. И в итоге вообще перестанете проводить эксперименты, так как они не будут приносить положительных результатов.

Что делать?

Ставить поиск гипотезы на первое место в A/B тестировании. Сначала гипотеза — потом эксперимент. И никак иначе.

Для поиска гипотезы можно использовать разные варианты. К самым распространенным и эффективным способам относятся:

— Анализ количественных показателей сайта в Google Analytics и Яндекс.Метрике (Например, поиск самых посещаемых страниц с высоким показателем отказов/выходов, поиск посещаемых страниц с самым низким показателем конверсии).

— Анализ карты кликов, карты скроллинга, карты ссылок, вебвизора (Это даст понимание, на какие элементы жмут посетители, на что они обращают внимание, как глубоко листают страницу, как взаимодействуют с сайтом). Весь перечисленный функционал есть в Яндекс.Метрике и Hotjar.

— Проведение опросов потенциальных и текущих клиентов (Встраивание опросов прямо на сайт с помощью Qualaroo, Hotjar и других сервисов, опросы через E-mail рассылки, личное общение с целевой аудиторией).

— Анализ общения посетителей со службой поддержки и менеджерами по продажам через онлайн-консультанты или E-mail.

— User-testing — проведение пользовательских тестов с целевой аудиторией, начиная с захода на сайт и заканчивая совершением главного целевого действия (Можно сделать это лично либо с помощью сервисов Askusers.ru, Userpoint.ru или Usertesting.com.

2A/B тестирование сразу нескольких элементов

К чему это приводит?

Эксперимент заканчивается. Статистика собрана. Положительный или отрицательный результат есть. Но!

Ничего непонятно.

Откуда он взялся? Изменение, какого элемента, повлияло на конверсию? Именно таков итог подобных A/B тестов.

По каким причинам возникает эта проблема?

Либо нет обоснованной идеи для эксперимента, либо хочется сделать всё быстро и за 1 раз. Оба варианта ужасны. О важности идеи сказано в первом пункте. О скорости и говорить не стоит. A/B тестирование — это не такая штука, которую сегодня запустил, а завтра получил результат.

A/B тестирование — это систематический и последовательный подход к улучшению эффективности сайта. Он даёт результаты не сразу. Но, если делать всё правильно, то положительный результат будет.

Что делать?

Придерживайтесь одного простого правила: 1 эксперимент — 1 гипотеза. Проще некуда. Не нужно придумывать велосипед и пытаться «извратить» A/B тестирование. Вам будет только хуже от этого.

Проанализировали сайт, поведение пользователей, пообщались с ними > составили список идей для тестирования > расставили их по приоритетам (простоте реализации и вероятности влияния на конверсию) > начали последовательно тестировать гипотезы одну за другой (при этом после проведения каждого эксперимента делайте соответствующие выводы)

3Преждевременное окончание эксперимента

К чему это приводит?

К неправильным выводам, в результате чего реализуется как бы победивший вариант, но уже через неделю/две/месяц происходит снижение конверсии. Очень велика вероятность такого исхода.

Пример:

Проводился A/B тест на сайте с небольшим количеством трафика и конверсий. Через 2 дня результаты были такими:

Конверсия в оригинальном варианте (Control) — 8.66. Конверсия в тестовом варианте (Variation 1) — 0.91. В этот момент «неопытный» интернет-маркетолог или клиент с пеной у рта будут требовать остановить эксперимент. Ведь всё очевидно. Но матёрый спец по увеличению конверсии умён. Он никогда так не поступит.

Результат через 10 дней после начала эксперимента:

Конверсия в тестовом варианте — 17.10 %. Конверсия в оригинальном варианте — 13.66 %. Так было ли всё настолько очевидно через 2 дня? Надеюсь, теперь вы понимаете, почему нельзя останавливать эксперимент раньше времени.

Конечно, это очень радикальный кейс: 11 против 1 конверсий через 2 дня. Но если будет 30 против 10, то «зелёный» интернет-маркетолог может поступить точно так же.

Что делать?

Не останавливать эксперимент при первых значительных результатах. В примере выше на 2-ой день было все 11 конверсий в оригинале, и 1 конверсия в тестовом варианте. Делать выводы на основе такой выборки нельзя!

На каждом варианте страницы должно быть как минимум 100 конверсий. Об этом говорят зарубежные эксперты. На мой взгляд, даже этого мало. Чем больше выборка, тем достовернее результаты. Поэтому не торопитесь.

Это одно из базовых правил.

Советую также использовать специальные калькуляторы, которые помогают понять, сколько нужно конверсий для получения достоверного результат. В этом калькуляторенужно ввести текущий показатель конверсии и минимально необходимое увеличение конверсии. Хотя это даже не совет. Это нужно делать обязательно!

Лайфхак: Не лезьте в аналитику в первые дни запуска A/B теста: не будет соблазнов остановить его раньше времени.

4A/B тест проводится меньше недели

К чему это приводит?

Это приводит ко всем проблемам, которые описаны в предыдущем варианте.

Почему так происходит?

Потому что поведение посетителей отличается в разные дни недели. Это доказанный факт. Подтверждение ниже:

Это статистика известного интернет-магазина. Данных вполне достаточно, чтобы сделать достоверные выводы. В четверг и пятницу конверсия гораздо выше, чем в субботу.

Что делать?

Проводить A/B тесты минимум 7 дней. Лучше даже 14. При этом нужно также учитывать длительность цикла продажи. Если с момента первого знакомства с товаром и до его покупки проходит 10 дней, то и эксперимент должен длиться не меньше этого периода.

Это такое же базисное правило. Если не собираетесь соблюдать его, то вообще лучше не беритесь за A/B тестирование

Очень хорошо об этом написали ребята из Retail Rocket

На скриншоте ниже видно, что почти 7 % посетителей интернет-магазина принимают решение в течение 7-13 дней, прежде чем совершить покупку.

Таким образом, цикл продажи для некоторых составляет 7-13 дней. А ещё 2.5 % пользователей думают больше 14 дней.

Если запустить A/B тест в таком интернет-магазине и остановить его на 6-ой день, то около 10 % всей аудитории не попадёт в него. Соответственно результаты будут не максимально достоверными.

5Игнорирование статистической достоверности

К чему это приводит?

К неправильным выводам. Всё, как и в двух предыдущих пунктах.

Что делать?

Не полагаться на результаты эксперимента, если статистическая достоверность меньше 95 %. 95 % — это минимальная планка. В идеале, этот показатель должен быть 99.9 %.

Несмотря на то, что во всех сервисах для A/B тестирования есть встроенные алгоритмы расчёта статистической достоверности, многие игнорируют их. А потом это игнорирование приводит к проблемам на сайте.

Зарубежные специалисты по увеличению конверсии советуют дополнительно использовать калькуляторы расчёта статистической достоверности. Можете воспользоваться этим сервисом

Три последних пунктах — количество конверсий, длительность теста и статистическая достоверность — это базовые правила. Обязательно соблюдайте их при A/Bтестировании.

6Тестирование элементов, которые не влияют на конверсию

К чему это приводит?

Такие эксперименты не имеют никакого смысла. Изменяя элементы, которые не влияют на принятие решений, вы не сможете воздействовать на поведение пользователей.

Если вы изменяете текст, который никто никогда не читал или меняете элемент в нижней части посадочной страницы, которую видят только 10 % пользователей, то никакого толка не будет.1

Если вы цените своё время и деньги, то не тратьте время на бессмысленные A/B тесты.

Что делать?

Тестируйте элементы, которые влияют на принятие решений. Тестируйте элементы, с которыми взаимодействуют посетители сайта:

— СТА-кнопки (кнопки призыва к действию типа «Купить», «Скачать», «Регистрация»)
— Формы (для регистрации, подписки на сайт, оформления покупки)
— Текстовые элементы (Заголовки, подзаголовки, описания товаров, преимуществ, выгод для потенциального клиента)
— Визуальные элементы (Изображения, видеоролики, аудио)
— Страницы с ценами (Сами цены, описания ценности для клиента, значки безопасности, гарантии возврата денег)

Тестирование этих элементов является наиболее эффективным.

7Копирование чужих экспериментов

Это простой способ «входа» в A/B тестирование. Не нужно сильно мучиться и загоняться по поводу гипотез для экспериментов. Берёшь и копируешь какой-нибудь успешный эксперимент. Кейсов и списков идей для A/B тестирования много. Они так и манят взять и повторить. Но это неэффективно.

Почему неэффективно?

Потому что у каждого сайта своя целевая аудитория. Эта целевая аудитория взаимодействуют с сайтом в соответствии со своими потребностями. Аудитория приходит на сайт с разных каналов. В итоге слишком много факторов влияют на её поведение.

И тупое копирование чужих кейсов вряд ли поможет кардинально исправить сайт и увеличить конверсию. Уж слишком всё индивидуально. Поведение пользователей на сайте зависит даже от того, какой текст использовался в вашем рекламном объявлении. Если на этом этапе всё плохо, то следование чужим успешным кейсам никак не поможет.

Расскажу об одном очень интересном кейсе. В интернет-магазине проводился A/B тест. Получилось так, что конкурент, который полностью скопировал сайт этого интернет-магазина, увидел тестовую страницу. И, в своём стиле, реализовал этот вариант страницы у себя. Через несколько недель эксперимент завершился. Конверсия в тестовом варианте оказалась ниже. Но конкурент уже об этом не узнал. Во всяком случае, в течение какого-то периода времени. Вот такие чудаки бывают.

Что делать?

Думайте своей головой. Все инструменты для анализа сайта и поведения пользователей у вас под рукой. Ищите проблемы конкретно на своём сайте, изучайте свою аудиторию. И запускайте тесты на основе полученных данных.1

При этом я ни в коем случае не ратую за то, чтобы вы прекратили изучать чужие кейсы. Это хорошая пища для ума. Подробно разобранные кейсы открывают глаза на многие вещи и заставляют совершенно иначе взглянуть на собственный сайт. Просто не нужно слепо следовать чужому примеру. Изучайте, анализируйте и берите из чужих кейсов самое лучшее.

Кстати, в любом случае A/B тестирование чужих кейсов лучше, чем прямая реализация идей с чужого сайта у себя. Если бы ребята из примера выше затестили новый вариант, то не потеряли бы часть клиентов.

8Неправильное параллельное A/B тестирование

Под неправильным параллельным A/B тестированием я имею в виду ситуацию, когда посетители, участвующие в эксперименте на одной странице, попадают и в другой эксперимент. Например, в первом эксперименте они видят оригинальный вариант, а во втором — тестовый. В итоге это может повлиять на достоверность результатов, если анализировать влияние эксперимента на всю воронку продаж.

Что делать?

Если вы точно уверены, что аудитория экспериментов не будет пересекаться, то расслабьтесь и продолжайте тестить. Если нет, то даже не начинайте параллельные эксперименты. Запускайте эксперименты друг за другом. Это займёт больше времени, но даст более достоверные результаты.

Надежные результаты важнее, чем скорость тестирования. Все неправильные выводы потом вылезут боком1, и придётся проводить повторные тесты, чтобы обнаружить проблему.

9A/B тестирование на сайтах с маленьким трафиком

К чему это приводит?

Эксперимент растягивается на месяцы (а проводить так долго тест не советуют!). Из-за длительного ожидания делаются преждевременные выводы (дождаться нужного количества конверсий очень сложно). Результаты эксперимента являются недостоверными. В итоге всё время и силы потрачены зря.

Так будет в большинстве случаев, если на сайте в день происходит 5-10 и даже 20 конверсий. В таких условиях, например, успешным можно будет считать тот эксперимент, в котором разница в конверсии будет очень значительной (Например, 150 конверсий против 75). Но подобное происходит редко.

А ведь небольших сайтов очень много. Также много и сайтов, где средний чек относительно большой и несколько сделок в день — это отличный результат.

Что делать таким сайтам?

Не тратить время на A/B тестирование, пока на сайте нет достаточного количества трафика и конверсий. Вместо этого, нужно заниматься анализом поведения пользователей на сайте. Нужно анализировать карты кликов и скроллинга и, исходя из этого, искать очевидные проблемы. Нужно общаться с целевой аудиторией и, исходя из потребностей/страхов/желаний, изменять тексты/элементы на сайте. Нужно смотреть записи действий посетителей (с помощью Вебвизора в Яндекс Метрике или Hotjar).

Такой вариант будет более эффективным.

Кстати, ещё один важный момент касательно трафика. Прежде, чем приступать к A/B тестированию, нужно грамотно настроит каналы качественного трафика, который будет день за днём приходить на сайт. Когда вы сможете обеспечить стабильный поток посетителей, тогда и будете думать об A/B тестировании.1

10Aнализ результатов A/B теста без использования сегментирования

К чему это приводит?

Без сегментирования вы никогда не сможете проанализировать, как отдельные группы пользователей взаимодействовали с сайтом в тестовом варианте. И это одна из ключевых ошибок анализа.

Сравните хотя бы два сегмента пользователей — новые и вернувшиеся. Подумайте, насколько сильно различается их поведение на сайте? Есть идеи?

У меня есть реальные цифры. Поведение новых и вернувшихся пользователей совершенно разное.1 В интернет-магазинах вернувшиеся пользователи в среднем проводят на 3 минуты больше, чем новые. Новые посетители в среднем просматривают 3.88 страниц за сессию, а вернувшиеся — 5.55 страниц.

Достаточно, чтобы задуматься об анализе A/B тестов с помощью сегментирования? Думаю, да.

Поведение пользователей смартфонов и ПК тоже отличается. И по таким сегментам тоже нужно прогонять результаты эксперимента. Вполне возможно, что на одних устройствах конверсия снизилась, а на других — сайтом стало гораздо удобнее пользоваться, и конверсия увеличилась.

Что делать?

После проведения эксперимента смотреть не только общие цифры, но и лезть глубже. Всервисах для A/B тестирования, которые интегрированы с Google Analytics, есть возможность провести глубокий анализ результатов и применить к ним любой сегмент.

Кстати, совсем недавно проводил A/B тест на главной странице одного сайта. Объект тестирования — короткий дополнительный текст, поясняющий то, что произойдёт после регистрации. Анализируя результаты без применения сегментирования, обнаружилось, что тестовый вариант с дополнительным текстом работал немного хуже оригинального — на пару процентов конверсия была ниже.

Применив сегмент «Новые пользователи» к результатам эксперимента ситуация оказалась совершенно иная — тестовый вариант имел конверсию на 10 % больше.

Вывод: для вернувшихся пользователей этот текст не имел никакого значения, т.к. они кликали на СТА-кнопку в любом случае. А для новых пользователей текст всё-таки оказался одним из триггеров, который подталкивал совершить целевое действие.

11Анализ влияния A/B теста только на одну цель в воронке продаж

Стандартная воронка продаж состоит из нескольких этапов. В интернет-магазине она может быть такой: Главная страница сайта — Переход в каталог продукции — Переход в карточку товара — Добавление товара в корзину — Переход к оплате товара — Завершение оплаты.

Представьте ситуацию, что вы запускаете эксперимент в каталоге товаров. Например, добавляете в призыв к действию информацию о 20 % скидке. Через неделю вы анализируете результат эксперимента и видите, что посетителям это нравится — они чаще кликают на эту кнопку и переходят в карточку товара. На первый взгляд, всё отлично. Ведь кликабельность кнопки увеличилась и на следующий этап воронки продаж переходит больше людей.

Но, ведь клики на эту кнопку — не главная цель вашего интернет-магазина. Самое важное — это оплата товара. Если посетители заходят в карточку товара, но при этом не заказывают его, то какой от этого смысл? Никакого.

К чему приводит эта ошибка?

Из-за поверхностного анализа эксперимента относительно только одной цели, вы не видите влияние на всю ворону продаж. А вдруг добавление привлекательной скидки повлияло на количество импульсивных кликов на эту кнопку? Посетители кликали, но при этом ещё были не готовы к покупке. На следующих этапах конверсия могла наоборот снизиться.

Не анализируя влияние на другие цели, вы этого не узнаете. Вы просто установите на сайт «победивший» вариант, а через какое-то время при подсчёте финансовых показателей обнаружите, что доходы упали. Результат — время потеряно зря, доходы просели.

Что делать?

После того, как эксперимент завершился, не спешите реализовывать лучший вариант.Проанализируйте влияние эксперимента на всю воронку продаж, начиная с цели, которую вы пытались улучшить, и заканчивая конечной целью (например, оплатой).

Сделать это очень легко, если эксперимент сделан через Google Analytics, Changeagain илидругой сервис , интегрированный с Google Analytics. Там можно посмотреть влияние на все созданные цели.

Кстати, мы уже описывали целый кейс с такой ошибкой. Почитать более подробном о нём можно здесь.

12Пренебрежение «тестированием» страниц после запуска эксперимента

Эксперименты часто «ломаются». Запуск эксперимента происходит через специальный js-код, который вставляется на страницы сайта. Как показывает моя практика руководителя сервиса для A/B тестирования, проблемы были, есть и будут. Начиная с того, что могут возникнуть проблемы со страницей, СТА-кнопками или просто эксперимент не будет загружаться.

Все сайты разные: используются различные языки программирования, различные CMS-платформы и т.п. Более того, некоторые сайты пишут программисты с кривыми руками. И из-за этого может возникнуть конфликт между сайтом и сервисом.

К чему это приводит?

Вы запускаете тест. Думаете, что всё в порядке: пользователи видят оригинальную и тестовую страницу, статистика собирается, заказы идут. А на самом деле всё наоборот.

Эксперимент может вообще не отображаться всё это время. И если не проверить статистику через пару дней, то через неделю вы будете очень сильно удивлены отсутствием результатов.

Кнопки могут не работать. Я лично сам столкнулся с ситуацией, когда изменение одного элемента в тестовом варианте ломало структуру сайта и кнопка просто не нажималась (настолько криво был написан сайт).

Что делать?

Сразу после запуска эксперимента нужно зайти на сайт и проверить:
— все вариации теста (как это выглядит)
— основные функции сайта (работоспособность всех кнопок)

Это обязательный и очень важный этап, которые советует делать Сергей Гудков(специалист по увеличению конверсии). Он дошёл до этого сам после нескольких ошибок.

«Поверил программистам. Тест через неделю проиграл. Я был в варианте А. Жалко было, что тест проиграл. Пошёл анализировать ситуацию и оказалось, что там была ошибка. Кнопка отрабатывала через раз. Исправили. Тест пришлось перезапускать»

Как правильно проверить все вариации эксперимента?

Для этого нужно воспользоваться функцией «инкогнито» вашего браузера и открыть там страничку с экспериментом. Но здесь есть несколько важных нюансов.

Когда пытаетесь проверить отображение тестового варианта в режиме инкогнито, если открыли одну вкладку и попали на оригинальный вариант, то закройте эту вкладку. После этого открывайте новую 1 вкладку инкогнито. И так, пока не попадёте на тестовый вариант.

Если же вы сразу же откроете 5 вкладок инкогнито и вставите туда ссылку, где должен отображаться эксперимент, то именно та страница, которая отобразится на 1-ой вкладке, будет открываться и на всех остальных.

13Отказ от A/B тестирования после первых неудачных попыток

Вот я тут всё пишу и пишу про A/B тестирование, пытаясь продвинуть этот крутой инструмент увеличения конверсии. И боюсь лишь одного — чтобы люди не подумали, что этот инструмент так запросто может помочь любому сайту. Это не так.

Большинство A/B тестов будут проваливаться. Такова реальность. Это неприятно, это не воодушевляет. Но на всё нужно смотреть объективно. По своей практике могу сказать, что неудачных экспериментов больше, чем удачных.

Чаще всего от A/B тестирования отказываются после первых неудач. Первый, второй, третий эксперимент, и ну его нахер. Проще не парить себе голову чем-то новым и сложным, а находится «в колее», в своей зоне комфорта и делать всё по стандартным правилам.

Если я создал у вас впечатление того, что A/B тестирование — это волшебная «пилюля», то простите. Легко не будет. Если не готовы усиленно пахать, даже не беритесь.

Что делать?

Чтобы не разочаровываться и отказываться от A/B тестирования, нужно больше времени тратить на подготовку к эксперименту. Анализ проблем на сайте и поиск идей для тестирования — это должно быть в приоритете.

Чем больше времени и усилий будете тратить на анализ сайта, тем лучше будут гипотезы для тестирования. Чем лучше поймёте свою целевую аудиторию, тем лучше сможете подготовить тестовый вариант. Идея для тестирования и результат тестирования находятся в прямой зависимости. Чем лучше проделан первый этап, тем выше вероятность положительного результата.

Даже если первые эксперименты провалились, не останавливайтесь на этом. Просто пересмотрите свой подход к генерации гипотез. Если вы начали с анализа карты кликов и скроллинга и все гипотезы придумали на основе этого, то попробуйте провести юзер-тестинг, изучить переписку клиентов со службой поддержки или вообще лично пообщайтесь с целевой аудиторией.

Когда компания Hubspot проводила опрос интернет-маркетологов, то 85 % из них сказали, что в 2015 году A/B тестирование будет одним из приоритетных направлений их деятельности. Все прекрасно знают, откуда идут тренды интернет-маркетинга. Поэтому было бы глупо отказываться сейчас от такого инструмента. Ведь через 2-3 года это будет инструмент «по умолчанию» в любой средней, крупной, а может даже и маленькой компании.

14Отсутствие чёткого плана A/B тестирования

К чему это приводит?

К хаотичному тестированию. A/B тестирование требует систематизации и последовательности. Без этого сложно поставить процесс тестирования на поток. После каждого эксперимента будет возникать вопрос: Что тестить дальше? Придётся отвлекаться, опять искать идеи для тестов, и так каждый раз. Это реально неудобно. Проверено на себе.

Что делать?

При подготовке к A/B тестированию нужен чёткий план. В этом плане должны быть описаны:

— проблема на сайте
— идея A/B теста для решения этой проблемы
— сложность реализации эксперимента
— примерный срок проведения эксперимента (зависит от количества трафика и конверсий на странице)
— приоритетность эксперимента (исходя из сложности реализации, времени и потенциального результата)

Для составления такого плана лучше засесть на несколько дней над сайтом и проанализировать его в Google Analytics, в Яндекс.Метрике (карты кликов, вебвизор), переписки службы поддержки и консультантов по продажам, провести юзер-тестинг.

В общем, это я всё к тому, что нужно за 1 раз потратить день или два на подробный анализ, свести всю информацию в таблицу и выстроить гипотезы в зависимости от их приоритетности. Дальше все будет гораздо проще по принципу Hypothesis (Идея для тестирования) — Action (Запуск теста) — Data (Сбор данных) — Insight (Анализа результатов, выводы). И так по кругу.

Лично в своей практике к эффективному A/B тестированию я перешёл только в тот момент, когда составил две ключевые таблицы. Первая — это чеклист, по которому прогонял каждый сайт для поиска слабых мест и проблем. Вторая — это таблица для описания основных проблем и расстановки приоритетов на основе тех факторов, которые описаны выше. Так лично у меня произошёл переход от хаотичного A/B тестирования к последовательному.

15Надежда на то, что маленькие изменения сильно увеличат конверсию

К чему это приводит?

Весь процесс A/B тестирования сводится к незначительным изменениям. Что-то вроде изменения цвета кнопки, текста кнопки, заголовка, удаление поля в форме и т.п.

Запустить такой эксперимент через специальный сервис проще простого. Двух минут хватит для этого. Но тогда и не стоит ожидать серьёзного роста конверсии от такого эксперимента.

При этом я не хочу сказать, что такие эксперименты не нужно проводить. Я сам делаю это. И такие эксперименты срабатывают. Просто происходит увеличение конверсии не в 2 раза, а на 10-20 %, что тоже является отличным результатом.

Просто нужно реально оценивать ситуацию. Если начинать A/B тестирование с мыслью о том, что изменение цвета кнопки улучшит ваш бизнес, то совсем скоро вы перестанете этим заниматься. Вы просто разочаруетесь.

Что делать?

Проводить эксперименты не только с маленькими изменениями на странице, но и ставить более серьёзные гипотезы, изменяя процесс взаимодействия пользователей с сайтом.

Рассмотрим пример с формой подписки на сайте. Форма с двумя полями — имя и e-mail + СТА-кнопка «Подписаться». Эта форма может размещаться прямо на странице. И в A/B тесте можно удалить поле «имя» или поменять текст/цвет кнопки. Это совсем незначительные изменения. И не факт, что они будут эффективными.

А можно сделать эту форму в два шага: разместить на сайте только кнопку «Подписаться», после чего будет открываться форма для заполнения. Это изменение уже делает процесс взаимодействия пользователей с формой другим. И результат такого эксперимента может быть более значительным, как в положительную сторону, так и в отрицательную.

Кстати, это одна из идей тестирования. Многие утверждают, что второй вариант с кнопкой и открывающейся формой работает эффективнее.

16A/B тестирование в два этапа

Это самый простой способ A/B тестирования, который уже давно пора прекратить использовать. Но, как показывает опыт, его активно практикуют и не собираются останавливаться.

Смысл такого способа заключается в следующем: на месяц, например, на сайт ставится первая версия страницы. В конце месяца измеряются основные показатели страницы. После этого устанавливается вторая версия страница и происходит то же самое. Через 2 месяца у нас есть показатели эффективности двух страниц. Они сравниваются, и выбирается более эффективный вариант. Всё так просто.

К чему это приводит?

К недостоверным результатам. Качество трафика может сильно отличаться в первом месяце по сравнению со вторым. Если качество трафика отличается, то сравнивать результаты просто невозможно. Их нельзя сопоставлять.

Представьте ситуацию. У вас интернет-магазин. Вы запускаете A/B тест в два этапа в ноябре. С 1 по 31 ноября показываете всем посетителям первый вариант страницы. 1 декабря подводите итоги, фиксируете основные показатели сайта и запускаете новый вариант страницы с 1 по 31 декабря. При этом в декабре начинается пик продаж, так как все готовятся к Новому Году и закупают подарки. Аудитория в декабре гораздо более склонна к покупкам. Соответственно, её поведение отличается от поведения в предыдущем месяце. Всё, такие результаты нельзя сравнивать. Они несопоставимы.

А теперь подумайте, сколько праздников проходит, сколько различных рекламных каналов вы подключаете, сколько акций делаете. Если в течение двух этапов у вас были разные маркетинговые активности, то и качество аудитории может быть совершенно разным. Если хотите работать с недостоверными результатами экспериментов, то продолжайте так делать.

Что делать?

Если же вы хотите делать A/B тесты правильно, то тестируйте все варианты в течение одного периода времени, на одинаковом трафике. Тогда надежность данных будет выше.

Причём необязательно платить за то, чтобы проводить правильное A/B тестирование. Вы можете делать это через Google Analytics, вкладка «Поведение» > «Эксперименты». Это сложнее, чем через платные сервисы (Источник: http://oosta.ru/services/ab-testing/), но полностью бесплатно.

Вы можете отказываться от технологий, которые упрощают и позволяют проводить A/B тестирование правильно. Но через пару месяцев вы поймёте несостоятельность такого подхода.

17A/B тестирование сайтов из 90-х

Не совсем стандартный пункт. Но очень захотелось добавить. Посвящен он владельцам бизнеса и интернет-маркетологам, чьи сайты давно не обновлялись и совсем не соответствуют трендам веб-дизайна, «недружелюбны» к посетителям.

К чему приводит тестирование таких сайтов?

К пустой трате времени. В таком случае вы будете пытаться улучшить то, что нужно просто «снести» и создать заново. И уже новый интерфейс систематически тестировать.

Не раз ко мне обращались с просьбой увеличить конверсию сайта. Когда я смотрел на некоторые сайты, хотелось просто закрыть глаза, а рука через 2 секунды тянулась к «крестику».

Юзабилити сайта бывает настолько убогим, что там нельзя ничего тестировать. Противопоказано!

Тесты будут гораздо более затратными и по времени, и по написанию кода, чем одно единственное обновление сайта.

Что делать?

У вас должен быть как минимум удобный для пользователей сайт, со стабильным целевым трафиком и совершаемыми конверсиями. Если сайт удобный, если трафик идёт, конверсии есть, и есть понимание, что их количество можно увеличить, то тогда можно задумываться об A/B тестировании. В противном случае, забудьте об этом. К сожалению, A/B тестирование ещё не достойно вас.

Вроде бы охватил все возможные ошибки. Если у вас есть, что добавить, то оставьте свой комментарий. Тогда я смогу внести ещё одну ошибку в статью. Полезно будет всем!

И да, ребята, если уж собираетесь проводить A/B тесты, то делайте это правильно!

Полный текст статьи читайте на CMS Magazine