Теория вашего первого A/B анализа
Тестирование содержимого сайта — один из самых важных элементов его оптимизации с точки зрения процесса конверсии. Широкий выбор технических возможностей для реализации этого способа анализа и его «простота» сделали A/B анализ одним из самых популярных способов оптимизации сайта. При этом отсутствие элементарных базовых знаний и стремление добиться результатов уже сейчас, соединенные с уверенностью в правильности своей гипотезы, приводят к множеству ошибок, которые иногда имеют критические последствия.Как и в любом другом исследовании, здесь необходимо придерживаться базовых принципов методологии.
Шаг 1: Отбор лучших возможностейДля того чтобы понять, куда именно стоит обратить свое внимание при разработке гипотез для A/B тестирования, необходимо определить страницы, которые относятся к следующим группам: — Страницы, с которых пользователь чаще всего уходит с вашего сайта; — Страницы, которые посещаются чаще всего; — Страницы, посещение которых необходимо для заказа (покупки, подписки).(Информацию об этом вы можете получить исходя из архитектуры сайта и данных Google Analytics или аналогичных инструментов)
Для страниц из каждой группы нужно искать решения в соответствующем направлении. Например, страницы с большим количеством отказов означают, что либо пользователь не нашел там то, что ожидал; либо он не справился с интерфейсом сайта или счел его слишком сложным; либо что-то вызвало у него сомнения в надежности вашего ресурса.
Шаг 2: Понять потребности пользователей в профиле Существует четыре основных вопроса, которые помогут вам понять потребности и мотивы посетителей:1. Почему они приходят на ваш сайт?2. Что помешало им завершить покупку?3. Нашли ли они то, что искали?4. Если они совершили покупку, то что больше всего раздражало в процессе?
Первый вопрос поможет вам понять намерения посетителя. Если вы узнаете, зачем они приходят к вам, вы сможете дать им нужное, а если вы этого сделать не в состоянии, вам стоит обратить серьезное внимание на способы и методы вашего продвижения и рекламы. Для того чтобы получить ответ на этот вопрос, используйте статистику поисковых запросов, по которым посетители попадают на ваш сайт, а также сайтов, с которых они к вам переходят.
Ответы на остальные вопросы вы можете получить от самих пользователей. Но будьте осторожны, создание опросов на сайте — процесс, который требует чувства и такта, иначе именно «опросы» станут ответом на четвертый вопрос.
Шаг 3: Использование данных и планирование тестирования Теперь, когда вы определили область атаки и получили необходимые данные, пришло время начать работу по подготовке теста. На этом этапе необходимо определиться с конкретными элементами, с которыми вы будете работать.Не спешите с полным редизайном, начните с малого. Изменения, которые занимают несколько минут, могут произвести неожиданный эффект. Обычно такими элементами являются заголовки и изображения (или аналогичный контент).
Несмотря на кажущуюся простоту таких тестов, каждая из гипотез должна быть подкреплена теорией и статистикой для того, чтобы иметь шанс на успех. Не стоит ожидать радикальных результатов из-за изменений фона или нескольких предложений, хотя никто не говорит, что изменения не могут произойти.
Скорее всего, оптимальным решением станет комплект из нескольких простых вариантов, которыми легко управлять.
Гораздо более вероятно добиться существенного эффекта от полного изменения дизайна сайта. Но стоит помнить, что такой тест требует значительно более пристального внимания. Вы должны постоянно анализировать получаемые данные и вносить соответствующие коррективы, при этом выводы об общей эффективности нового дизайна можно делать только тогда, когда результаты будут соответствовать всем требованиям (см. шаг 5).
Шаг 4: Первые тесты Шон Эллис утверждает, что оптимальным вариантом для первых 10 тестов является соотношение: — 4 Испытания Сообщений; — 4 «Ага» теста; — 2 Крупномасштабных испытания дизайна/
Испытания Сообщений — это тесты, в которых основной задачей является работа с подачей вашего предложения, элементами его представления и описанием. Часто проблемы возникают на этапе понимания пользователем того, что именно вы им предлагаете, на каких условиях и по какой цене. Ответы на все эти вопросы должны содержаться в вашем предложении.
«Ага» тесты: Тесты ключевых элементов, которые участвуют в процессе преобразования. Такие элементы вы должны отследить, опираясь на статистику действий и переходов пользователей, кроме того вам могут помочь тепловые карты сессий.
Это может быть вводное видео, описание, купон на скидку или нечто совершенно иное. Сосредоточьтесь на том, чтобы ваши посетители как можно быстрее обратили внимание на эти элементы.
Крупномасштабные испытания дизайна– это необязательно полное изменение дизайнерской концепции. Это тесты, которые затрагивают большую часть существующего интерфейса, наполнения сайта и других элементов.
Шаг 5: Измерение результатов После того, как будут запущенны ваши тесты, очень важно тщательно оценить их результаты и принять решение о судьбе каждого варианта. Помните, что целью A/B анализа является не доказательство вашей гипотезы, а определение самого эффективного варианта.При анализе результатов стоит помнить об «отраслевых стандартах»; гипотезу можно считать подтвержденной при условии, что уровень статистической значимости гипотезы не ниже чем 95%, а статистическая мощность превышает 80%.
Неплохой калькулятор для расчета объема трафика, необходимого для того, чтобы полученные данные можно было считать статистически значимыми.
Кроме того не стоит забывать, что:
• Изменения необходимо отслеживать на всем сайте, а не на отдельно взятой странице. Тот факт, что вы тестируете изменение конкретной страницы, еще не означает, что это не скажется на всем ресурсе;
• Большие изменения дают большие результаты, но это не всегда связано с их эффективностью. Всегда существует эффект, обусловленный реакцией постоянных пользователей на резкое изменение общей концепции;
• Снижение требований к статистическому весу результатов позволит сократить время, которое будет затрачено на принятие решений, но повышает риск ошибки.
