Кейс: скрыть рейтинговый балл и тренд и повысить главную конверсию на 7–8%
Почему мы решили убрать балл и тренд
Рейтинг строится на набранных баллах. Если баллов не будет, как люди поймут, почему компания оказалась на своём месте? Можно ли доверять такому рейтингу? И всем же интересно знать, на сколько агентство поднялось или опустилось за год. Как можно это убрать? Вон, у Тэглайна и Руварда они есть, вы что?
Хороший эксперимент состоит из проблемы, гипотезы и теста с контролируемыми и измеримыми результатами. Краткая вводная в проблему. «Рейтинг Рунета» приносит агентствам лиды (помимо другой пользы, о которой мы расскажем в отдельной статье). Лиды образуются из трафика. И вот аналитика показывает, что мы, кажется, исчерпали возможности платного трафика: достигли потолка, после которого вливание денег в рекламу приносит слишком дорогой результат. Это значит, что пришла пора заниматься UX-метриками и повышать конверсию, а не трафик.
Вы скажете, что этим и так нужно заниматься. Конечно, мы занимались, провели больше ста экспериментов, но теперь это стало критичным, если мы хотим расти.
Вторая проблема — интерфейсная. Таблица должна помогать заказчику оценить подрядчика. Балл — это абстракция; чтобы его понять, нужно почитать про методику, а это делают единицы. Лучше показать понятные заказчику параметры, из которых сложился балл: число клиентов, всех и крупных, средний срок работы с клиентом, выручку. И то, что влияет на выбор — цены и отзывы. Чтобы всё это вывести, нужно было освободить место. Смотрите, как много всего разношёрстного:
Третья проблема — тренд. Когда вы видите зелёненькое +1 или даже +5, это не особо влияет на мнение о компании. Другое дело — красное —1. Тревожный сигнал, что компания упала, у неё что-то не так. Место могло измениться из-за одного клиента или ста тысяч выручки, что по сути ничего не меняет, но клиент видит жирный красный минус. С этим нужно было что-то сделать, потому что у нас нет задачи снижать просмотры у компаний, которые опустились в рейтинге.
От редакции
Аналитические материалы Рейтинг Рунета публикует в блоге на VC и в телеграм-канале.
Подписчиков ждут статьи с анализом digital-рынка, советы по выбору и работе с подрядчиками, полезные инсайды для исполнителей.
Присоединяйтесь!
Создайте конкурс на workspace.ru — получите предложения от участников CMS Magazine по цене и срокам. Это бесплатно и займет 5 минут. В каталоге 15 617 диджитал-агентств, готовых вам помочь — выберите и сэкономьте до 30%.
Создать конкурс →
Эксперимент
Гипотеза
Гипотеза состояла в том, что после скрытия балла и тренда нужные нам показатели либо не изменятся, либо вырастут.
При этом мы не стали сразу выводить данные, которые так хотелось добавить в таблицу, потому что это не позволило бы проверить, что конкретно повлияло на конверсии. Один эксперимент — одно изменение.
И начали мы с четырёх рейтингов, чтобы, если что, не уронить конверсии на всём сайте. И только с десктопа (на мобилке у нас совсем другой дизайн и другое поведение).
Дизайн
Мы решили не убрать балл и тренд, а скрыть их под место (левая колонка таблицы), чтобы они появлялись при наведении. Первые варианты дизайна всплывающего окошка:
Доработали и остановились на самом простом:
Была ещё шальная мысль сунуть в окно ссылку на методику, но решили, что не стоит. Во-первых, ссылка во всплывающем окне — спорное решение. Во-вторых, про методику нужно рассказывать иначе, чтобы это было полезно.
Теперь рейтинговая таблица выглядит так:
Или так:
Напомню: мы не стали целиком менять содержание рейтинговых таблиц, только убрали два столбца с баллом и трендом.
Сколько, ГДЕ И КАК
Эксперимент шёл три недели. Начали 10-го июля с Рейтинга агентств по созданию и продвижению сайтов, Рейтинга разработчиков мобильных приложений, Рейтинга SEO-компаний и Рейтинга агентств интернет-маркетинга и рекламы, а 17-го июля раскатали новый интерфейс на все рейтинги.
В контрольной группе было 4 555 уникальных посетителей, в экспериментальной с новыми интерфейсами — 4 580.
Результаты
Оранжевая линия — скрытые балл и тренд, синяя — предыдущий контрольный вариант.
Поведенческие показатели изменились не сильно, но всё же улучшились. Падение средней длительности сеанса мы интерпретируем как улучшение, потому что на странице нет лишнего и выбор сделать проще.
Зато главный для нас показатель, наша «полярная звезда», вырос. Отложенные переходы по рекламе и ценность таких переходов в денежном выражении — на 7%, а коэффициент конверсии — на 8,4%.
Обычно наши эксперименты давали прирост на доли процента или процент, а тут 7–8%.
Отложенный переход по рекламе — это переход пользователя, который находился на нашем сайте не меньше одной минуты. Важный момент: сайт рекламодателя у нас открывается в новой вкладке, и при переходе на него таймер не останавливается. Мы знаем, что человек находится на сайте рекламодателя, если только он не закроет вкладку с нашим сайтом. Таким образом мы отсекаем ботов и случайную аудиторию.
Почему мы думаем, что это хороший показатель, приносящий пользу агентствам? Мы начали фиксировать качественные рекламные переходы в июне 2020 года. Возьмём нулевую строку в рейтинге веб-студий:
Сравним первые кварталы 2019–2020 с первыми кварталами 2021–2022: стоимость размещения в расчёте на один переход выросла на 36%. Напомним, что у нас рекламные места разыгрываются на аукционах, то есть компании сами определяют их ценность в результате торгов. Ещё важно, что этот формат часто выкупали одни и те же компании. Мы считаем, что это совокупно указывает на удовлетворённость размещением.
Про полярную звезду. Вот статья, которая неплохо рассказывает об этой метрике. В нашем случае это выручка, которую приносят посетители сайта. Выручка, конечно, виртуальная. Пользователи нам ни за что не платят, это доходы от рекламодателей.
Заключение
Сейчас рейтинговый балл и тренд скрыты во всех рейтингах.
Мы планируем рассказывать о следующих экспериментах в таком же формате.
Если это было интересно или есть вопросы по этому эксперименту, напишите, пожалуйста, в комментариях.
Ссылка на оригинал.
Полный текст статьи читайте на CMS Magazine
