[Перевод] Как мы потеряли и снова нашли миллионы, не проведя A/B тестирование
Мы всегда считали, что должны делиться с миром уроками и технологиями, полученными в процессе занятия нашим бизнесом, включая как успехи, так и неудачи. Мы уже писали о нескольких успехах – как мы уменьшили время ответа поддержки, ускорили приложения и увеличили надёжность. Сегодня я хочу рассказать вам об опыте, который не был удачным.
Это история о том, как мы внесли изменения в сайт Basecamp.com, обошедшееся нам в миллионы долларов, как мы вышли из этой ситуации и что узнали в процессе.
Что произошло?
Всё началось в феврале 2014 года, когда мы официально стали компанией Basecamp. Это было серьёзное изменение – ребрендинг, отказ от поддержки некоторых продуктов, продажа других, и т.п. В процессе мы решили поменять и дизайн сайта basecamp.com (это наш маркетинговый сайт), чтобы отразить тот факт, что он уже был не просто сайтом продукта Basecamp, но сайтом компании Basecamp.
Изменения были довольно существенными – как по контенту, так и визуальные. Редизайн коснулся не только посадочной страницы, (можно посмотреть сайты до и после), но и главной страницы сайта.
Одним из крупных изменений стало исчезновение формы для входа с домашней страницы. Это решение не было особенно продуманным, мы не проводили тщательное исследование того, как количество шагов, необходимое для входа в триальную версию сервиса, влияет на его используемость. Годами мы спорили о сравнительной ценности возможности быстро «войти» в сервис (для привлечения большего количества людей) по сравнению с «продуманной» системой входа (у которой будет меньше регистраций, но в которой поучаствуют лишь заинтересованные пользователи, большинство из которых в дальнейшем станет платными). Но насколько мне известно, мы не принимали специального решения о переходе на систему более медленного «входа». Это просто было одним из решений на пути нашего «превращения в Basecamp».
Причин, по которым мы не проводили А/Б тестирования сайта, было много. Мы были слишком заняты для подготовки сильно отличающихся вариантов нового сайта, мы хотели представить всем один последовательный имидж во время наших перемен, и нам понравилось то, к чему мы в результате пришли.
Сразу после изменений на маркетинговом сайте я увидел, что конверсия упала – меньшее количество заходивших посетителей подписывались на триальную версию сервиса. Эффект не был неожиданным – мы перенаправляли весь трафик с 37signals.com, о нас написали в прессе, у нас был трафик с других ресурсов, так что уменьшившийся процент подписчиков нас особо не беспокоил. Абсолютное их количество оставалось на прежнем уровне.
В первые несколько месяцев после этого количество подписок начало уменьшаться по сравнению с началом года. Это тоже не вызвало у нас опасений – у нас всегда больше всего посетителей приходят в январе, а затем летом всё замедляется, и потом приходит в норму уже осенью. Поскольку запросы к Basecamp зависят от нормальных бизнес-циклов, многие из которых начинают новые проекты в начале года, мы чувствуем довольно большую сезонность.
Некоторое время ушло у нас на то, чтобы понять – уменьшение подписок, которое мы наблюдали летом 2014, было серьёзнее сезонных колебаний. Когда цифры не пошли обратно вверх осенью, стало понятно, что что-то не так. В обзоре нашей работы за 2014 год для внутреннего использования я писал:
Ситуация не улучшилась за первую половину 2015 года, и мы периодически обсуждали эти вопросы, не внося никаких изменений. Наконец, в июле мы запустили А/Б тест, который возвращал форму подписки обратно на домашнюю страницу, и результаты были немедленными. Количество подписок увеличилось на 16% в случае, когда форма была на странице. Так что по завершению тестирования и смене дизайна мы увидели очевидный эффект:
Мы, конечно, рады возвращению хороших результатов – в нашем случае эти улучшения стоят миллионы долларов прибыли. За период, когда эффективность была ниже, не случилось ничего страшного (2014-й был самым прибыльным годом, а 2015-й обещает побить и его), но ущерб был нанесён.
Что пошло не так и что из этого следует?
Урок понятен – мы получаем большее количество платных клиентов, если мы максимально облегчаем их путь до начала работы с нами. Скоро запустится новый маркетинговый сайт для новой версии Basecamp, и там будет форма подписки на домашней странице – но это не единственное, что нужно усвоить из нашего урока.
Остальные уроки говорят о процессах разработки, и существуют две ключевые позиции, которые я хотел бы отметить.
1. Мы не знаем, что именно сработает
Мы не проводили А/Б тестирование наших изменений, поэтому понадобилось много времени, чтобы понять, что произошло. Такое тестирование наверняка бы поймало ухудшающуюся эффективность редизайна за пару недель. В А/Б тесте многие внешние факторы остаются постоянными – сезонность, источники посетителей, и т.п. Поэтому вы можете построить более чёткую взаимосвязь между вашими изменениями и количеством подписок.
Поскольку мы не тестировали редизайн, нам пришлось довольствоваться сравнениями, проводимыми за длинные временные периоды. А учитывая сезонность и другие внешние эффекты, очень сложно понять, что именно из происшедшего повлияло на количество подписок – поэтому мы долго не могли разобраться в том, что произошло.
Легко отказаться от тестирования изменений – вы заняты, вы сами считаете, что и так знаете, они будут лучше, вам не хочется тех рисков, которые всегда существуют при проведении таких тестов. В будущем нам будет уже проще оправдать трату времени и сил на тестирование редизайна маркетингового сайта – мы выучили свой урок достаточно жёстким способом.
И хотя мы вряд ли совершим такую же ошибку, стоит подумать — где ещё мы можем таким же образом ошибиться и даже не заметить этого. Есть ли ещё области у нашего продукта, где мы сделали непроверенные предположения, которые могут сильно повлиять на бизнес или на успешность наших клиентов? Можно ли проверить эти предположения численно?
2. Наше общение было неэффективным
Поскольку компания у нас небольшая, многие мелкие решения вроде того, где разместить форму подписки, принимаются отдельными людьми или небольшими группами без широких обсуждений. В этом случае обсуждение могло бы родить опасение по поводу рисков удаления страницы подписки с домашней страницы. Возможно, мы бы приняли другое решение.
Также мы не смогли принять быстрое решение и действовать быстро, даже когда поняли, что происходит. Более шести месяцев прошло с тех пор, как мы нашли проблему, и до тех пор, пока мы её решили.
Наша компания ориентирована на проект. Мы фокусируемся на ограниченном числе вещей в любой момент времени и активно работаем над ними. С момента редизайна и до текущего моменты мы вместе работали над разными проектами. Мы запустили The Distance, добавили множество функций в Basecamp, работали над сторонними проектами, и продолжали доделывать следующую версию Basecamp, которая уже скоро выйдет. Мы передвинули дизайнера, работавшего, в том числе, и над маркетинговым сайтом, на работу под Android, и пробовали много разных маркетинговых идей по рекламе, спонсорству и т.п.
Всё это привело к тому, что мы не подумали как следует о нашем маркетинговом сайте, и это отразилось на скорости тестирований и улучшений. Мы провели треть А/Б тестов в 2014 году от их количества в предыдущем году, и сделали гораздо меньше коммитов в репозиторий сайта. Поэтому мы так медленно реагировали – при отсутствии текущих проектов на этом сайте мы просто не думали о нём и не тратили на него время.
Я должен был сделать больше, как аналитик по данным — я знал, что нам надо было провести А/Б тестирование редизайна, и знал, что нужно было бы вернуть подписку на страницу ещё за несколько месяцев до того, как мы начали тесты. Я либо не нашёл возможности доказать свою точку зрения, либо недостаточно убедительно её доказывал. Задним умом понимаю, что мне надо было бы сильнее стучать по столу.
Это были тяжёлые и очень дорогие уроки, и нам повезло, что основание нашего бизнеса достаточно прочное для того, чтобы они не превратились в экзистенциальный кризис. Пройдя через это, мы стали лучшей компанией, и надеюсь, что мы не попадём в такие или подобные ловушки в будущем.
