[Перевод] Руководство по оптимизации сайтов для начинающих. Часть 2
Часть 1
Процесс оптимизации
Установить в организации хорошо прописанный и формальный процесс оптимизации — это очень полезная практика, поскольку она:
- организует рабочий процесс и задаёт реальные сроки окончания
- устанавливает стандарты контроля качества и уменьшает количество ошибок
- добавляет веса всей операции — логику процесса можно объяснить владельцам компании
На общем уровне планирования я бы рекомендовал устраивать совещания по планированию оптимизации 1–2 раза в неделю, на которых необходимо:
- Просмотреть текущие тесты, чтобы понять, нужно ли их остановить или признать «завершёнными» (см. ниже). Для законченных тестов есть две возможности:
- есть явный победитель. В этом случае необходимо разработать его вывод в продакшн
- нет явного победителя в текущей контрольной группе. В этом случае нужно определить, требуется ли дополнительное изучение вопроса, или же нужно просто прекращать эксперимент.
- Рассмотреть источники данных и подумать над новыми идеями для тестов
- Обсудить и назначить приоритет любым новым идеям.
Как же понять, когда тест завершён?
Критерии завершённости — вещь сложная и даже являются коммерческими секретами. Определю минимальные необходимые условия для объявления теста «завершённым». Общепринятых стандартов не существует, и критерии зависят в основном от представлений вашей команды. Мы для себя выработали следующие критерии:
- Время. Тесты должны идти не менее двух недель, чтобы сгладить колебания, связанные с днями недели
- Статистическая уверенность. Мы использовали интервал уверенности в 90–95%
- Стабильность по времени. Варианты должны хотя бы неделю находиться на своих местах.
- Общее количество конверсий. Минимум 200 шт.
Создание нового теста оптимизации может идти по той же схеме, что и разработка продукта. Я рекомендую следующую основную структуру:
- анализ данных
- поиск идей для улучшения
- разработка тестовых вариантов
- написание плана тестирования
- разработка
- контроль качества
- запуск тестов
- анализ результатов и составление отчётов
Шаг 1: Анализ данных
Сначала необходимо решить, на чём сконцентрировать усилия. Мы использовали следующий список:
- Недавние релизы продуктов, или страниц, которые ещё не оптимизированы
- Особо ценные страницы:
- Высокодоходные (корзина, описание дорогих продуктов, и т.д.)
- Высокопосещаемые (домашняя страница)
- Особые стратегические места, важные по каким-то другим причинам
- Страницы с плохой статистикой:
- Низкая конверсия
- Высокий процент ухода
Шаг 2: Поиск идей по улучшению
Вопрос улучшения страницы — такой же крупный, как вопрос пользовательского интерфейса, и находится за рамками этой статьи. Улучшать можно тексты, дизайн форм, показ медиаданных, рендер страниц, внешний вид, доступность…
Советую только собирать идеи сообща — используйте силу всей команды, чтобы искать новые идеи. Включайте в процесс не только дизайнеров, но и разработчиков, копирайтеров, бизнес-аналитиков, маркетологов, тестировщиков… Хорошая идея может появиться где угодно.
Шаг 3: Пишем план тестирования
План является основой любого теста. На верхнем уровне он используется для планирования, общения и документирования эксперимента, и более того, он приучает команду грамотно и чётко формулировать цели и анализировать результаты.
В хорошем плане должны быть следующие пункты:
- Название теста
- Описание
- Цели
- Возможности (что мы получим в случае успеха)
- Методология
- Ожидаемые даты работы теста
- Ресурсы (кто будет над ним работать)
- Метрики для отслеживания
- Критерии завершения
- Варианты (скриншоты разных дизайнов, которые будут видеть посетители)
Вот вам примерный план тестирования.
Шаг 4: Дизайн и разработка теста
Обычно идут по пути разработки продукта –, но поскольку тест проще, чем полновесный продукт, я использую облегчённую версию пути.
Но опускать для быстроты следует второстепенные вещи — можно не делать документацию, но не нужно экономить на качестве дизайна. Не забудьте провести основные проверки юзабилити вариантов.
Шаг 5: Контроль качества
Проверяйте качество тестов так же тщательно, как любой другой код. Рекомендую по меньшей мере функциональные, визуальные и аналитические тесты.
Плюс оптимизационных тестов в том, что вы можете устраивать любой таргетинг. Можно нацеливать разные варианты на определённые браузеры, платформы, аудитории, и т.д. Допустим, что ваша команда проверила работу только одного A/B теста — для десктопных браузеров, но не для мобильных. Тогда вы можете тестировать его результаты исключительно на декстопных пользователей. Если у вас пока есть какие-то проблемы с отображением в мобильных браузерах, на результаты теста они не повлияют.
Шаг 6: Запуск
По окончанию проверок качества и принятию решения по таргетингу надо зпаускать тесты. При этом следует помнить о нескольких вещах.Варианты нужно показывать одновременно
Первый принцип настолько очевиден, что о нём не говорят. Но я очень часто слышал высказывания вроде «после запуска нового дизайна наши продажи/конверсии увеличились — значит, новый дизайн лучше».
Проблема в том, что вы не знаете, какие ещё факторы могли повлиять на работу проекта до и после запуска нового дизайна. Возможно, конверсия и так бы увеличилась, благодаря раскрутке бренда, сезонным колебаниям, или просто по случаю. Поэтому все варианты необходимо проверять параллельно. Только так мы сможем исключить постороннее влияние.
Отслеживайте несколько метрик конверсии
Один из A/B тестов, который мы проводили, использовался на странице описания фильма на латиноамериканском сайте DIRECTV. Мы увеличили размер и заметность кнопки «Ver adelanto» (просмотр трейлера), решив, что если люди посмотрят трейлер, это сподвигнет их на покупку фильмов с сайта.
Так и вышло — через несколько недель мы увидели увеличение количества покупок на 4,8%. В год такое увеличение привело бы к увеличению прибыли на $18000. К счастью, поскольку мы также отслеживали другие параметры сайта, мы увидели, что этот вариант уменьшил покупки пакетов каналов (HBO, Showtime) на целых 25%. Это бы гораздо сильнее уменьшило прибыль. Поэтому мы не стали вводить этот вариант в продакшн.
Важно помнить, что изменения могут повлиять на ваш сайт непредсказуемо. Всегда отслеживайте разные метрики.
Тесты должны достигать приемлемого уровня статистической значимости
В одной из презентаций консультант сообщил, что предварительные тесты сегментации электронной почты показали многообещающие результаты.
На графике у последнего сегмента пользователей (залогинившихся более 4 раз за год) конверсия составила 0,00139% (0,139 апгрейдов на 1000 емейлов). И хотя такая конверсия очень маленькая, согласно консультанту она показывает на 142% прирост, что является неплохим результатом.
Даже не упоминая сомнительную пользу данной статистики (предлагается ли на основе доклада отправлять емейлы только тем пользователям, которые залогинились более четырёх раз?), в тесте есть другая проблема. Если вы посмотрите на колонку «Upgrades», вы увидите, что результаты были выведены всего лишь из пяти случаев заказа апгрейда. Пять из сорока восьми тысяч отправленных писем. Получается, что плюс/минус один заказ радикально поменял бы всю статистику.
Хотя это не пример теста оптимизации, а просто исследование сегментации емейлов, он содержит важный урок: не объявляйте победителя, не набрав приемлемого количества статистики.
Что же такое «приемлемый»? В науке приняты понятия «значимый» (95% уверенности) и «высокозначимый» (99% уверенности) в результатах. И то, в них, соответственно, есть 5% и 1% шанс, что ваши заключения неверны. Кроме того, чем больше статистики нужно собрать, тем больше времени это займёт. Я бы рекомендовал остановиться на результатах в районе 90–95% уверенности, в зависимости от важности ситуации.
Продолжительность тестов должна учитывать естественные вариации (рабочие и выходные дни, и т.п.) и быть стабильной во времени
В статье на сайте AnalyticsInspector.com Ян Петрович описывает проблему преждевременного окончания тестов. Тест проводился на популярном сайте всего лишь один день, и в конце было объявлено, что победивший вариант увеличил конверсию на 87% с уверенностью в 100%.
Ян пишет: «Если бы мы остановили тест прямо тогда и похлопали бы друг друга по плечу, мы бы совершили ошибку. Мы ведь не проверили наш тест на пятничном или понедельничном трафике. Но, поскольку мы не остановили тест, реальный результат получился совершенно другим».
Через четыре недели стало ясно, что новый дизайн, хоть он работал и лучше контрольного, показал улучшение всего в 10,49%.
Не забывайте о краткосрочных флюктуациях в поведении посетителей сайтов, учитывайте разницу между рабочими и выходными днями и сезонным трафиком.
Шаг 7: Анализ и отчёты
По окончанию теста, когда вы нажали кнопку «стоп», вам нужно собрать результаты в отчёт. Отчёт может быть продолжением плана из шага 2, но со следующими дополнительными разделами:
- Результаты
- Обсуждение
- Дальнейшие шаги
Очень хорошо включать графики и различные детали в секцию «результаты», чтобы те, кто знакомится с отчётом, могли сами проследить за тенденциями и проанализировать данные. Это добавит вашим исследованиям убедительности и привлечёт людей в программу оптимизации.
Обсуждение полезно для объяснения деталей и описания причин, приведших к полученным результатам. Она должна заставить команду задуматься о поведении пользователей и разработать дальнейшие улучшения продукта.
