Как адаптировать сервис под изменяющееся поведение пользователей — три кейса Mail.Ru Group18.02.2016 15:52

Когда каждый — финансовый аналитик

Одна из задач главной страницы Mail.Ru — рассказывать пользователю о том, что происходит в мире и в его регионе. Поэтому на главной отображаются сведения о курсе рубля к доллару и евро.

Когда-то у этого блока был невысокий, но стабильный CTR. Мы оставили его на главной Mail.Ru не столько для того, чтобы пользователи переходили на страницу с подробными сведениями, сколько для полноты общей картины.

Честно говоря, мы несколько раз обсуждали, стоит ли сохранить блок с курсами или он избыточен, и не пора ли удалить его с главной страницы. Но в прошлом году, когда позиции рубля начали слабеть, поведение пользователей изменилось. Рассказываем вам о наших наблюдениях за этот период и об изменениях, которые в результате решили внести на главной странице.

Экономическая ситуация во многих странах сейчас сложная, фондовые индексы стремительно падают, напряженность ощущают все. Год назад положение стало еще сложнее: курс рубля по отношению к доллару и евро упал вдвое, цены на нефть рухнули.

Буквально за ночь все стали финансовыми аналитиками: теперь все обсуждают будущее экономики, тренды нефтяных цен и курсы валют, делают прогнозы и дают советы, как сэкономить. Вот уже больше года, как люди остро интересуются текущим курсом валют и ценами на нефть.

Люди начали активнее интересоваться не только экономическими и финансовыми новостями — CTR блока с курсами валют тоже существенно вырос.

До этого мы показывали официальные курсы валют, которые публикуются раз в день утром, поскольку актуальные курсы, как правило, не отличались от официальных. Однако теперь людям стали интересны актуальные курсы, а не устаревшие, установленные ЦБ. Большинство даже не понимает, чем именно они различаются;, но поскольку в новостях речь идет о текущих курсах, а не об официальных, наши данные о валюте вдруг стали нерелевантными.

Нужно было внести ряд изменений. В первую очередь, начать отображать данные не по ЦБ, а по ММВБ, чтобы люди перестали сомневаться насчет актуальности курса на нашей главной странице. Также мы реализовали Ajax-обновление блока, чтобы пользователи могли медитировать, наблюдая, как курс скачет от 80 до 100 рублей за евро и обратно.

Второй горячей темой стали цены на нефть. Много лет они никого они не интересовали, но теперь люди осознали, что существует несколько марок, прогнозы их цен и объема добычи. Наша задача — помочь пользователям найти нужные данные, избавив их от необходимости просматривать десятки официальных ресурсов. Поэтому мы добавили на главную страницу цены на нефть.

Хотя интерес к этой информации резко вырос, в итоге он вернулся к обычному уровню. Однако изменения, которые мы внедрили, теперь позволяют отображать на нашей главной практически любой свежий контент, интересующий пользователей.

Урок, который мы извлекли из этого эпизода: статистика нужна не только для оценки эффективности работы функции, но и для того, чтобы улавливать тренды. Заметил тренд — внеси изменения в продукт.

Секрет первого дня месяца

Поговорим о другом нашем продукте — «Календаре Mail.Ru». Мы привыкли отслеживать самые важные показатели наших проектов в реальном времени. Однажды, а именно 1 сентября, мы открыли графики — и сразу заметили странность. Уже к середине дня количество пользователей «Календаря» достигло среднего размера дневной аудитории — и продолжило расти! К концу дня оно превысило этот уровень вдвое.

Первым делом мы проверили, откуда приходят пользователи. Обычно они открывают «Календарь», кликнув на иконку на главной странице Mail.Ru или в портальном меню в интерфейсе «Почты».

Это два основных источника трафика — и оба показали рост числа посещений; что интересно, по остальным источникам трафик практически не изменился. Ответственные за главную страницу не вносили никаких изменений за последние несколько дней. Так что же произошло с этими источниками 1 сентября?

Возможно, к 1 сентября была приурочена какая-то маркетинговая кампания? Нет. Ни новых баннеров, ни новой рекламы — ничего, что могло бы вызвать такой приток трафика.

Ладно, подумали мы, будем считать, что этот какая-то новая странность в поведении пользователей. Может быть, все вернулись из отпусков и дружно начали планировать рабочее время. Звучит странно, но ничего лучшего мы не придумали.

На следующий день рост повторился. 3 и 4 сентября он был заметно меньше, а 5 сентября трафик вернулся к обычным значениям. «Да, странно. Но теперь-то все по строму», — подумали мы. Но мы ошиблись.

Прошел месяц, и всё повторилось. И опять никаких новых маркетинговых кампаний, изменений в работе электронной почты или в интерфейсе главной страницы. В ноябре рост был, но вдвое меньший (из-за ноябрьских праздников). Мы дождались декабря — и да, новый всплеск:

Итак, 1 декабря мы открыли главную страницу Mail.Ru и уставились на нее. Мы старались понять, почему люди чаще щелкают по иконке «Календаря» именно в этот день. И неожиданно нам самим захотелось это сделать. Но почему?

Оказалось, что команда главной страницы и «Почты» все же изменила способ представления кнопки «Календаря» —, но не 1 сентября, а несколькими неделями раньше, в середине августа.

Если конкретнее, они добавили на иконку «Календаря» текущую дату в виде динамически обновляющегося числа. То же самое было сделано и в веб-интерфейсе «Почты». Открыв главную страницу или «Почту» в первый день месяца, пользователь видит кнопку с единицей.

Что это значит? Всё ясно — в «Календаре» есть одно уведомление. Именно поэтому люди щелкают по кнопке, и число посещений растет в этот день каждый месяц, а затем возвращается к прежним значениям, когда пользователи постепенно понимают, в чем дело.

Предвидели ли мы резкое изменение поведения пользователей, обновляя дизайн кнопки? Конечно нет, мы просто немного улучшили интерфейс. А неожиданные результаты получили несколько недель спустя.

Вывод: изменения могут давать неожиданный или отложенный результат, который можно понять только в том случае, если ты думаешь и ведешь себя как обычный пользователь.

Не сваливайте все на странности пользователей. Иногда на их поведение влияют изменения, которые вы внесли в продукт (возможно, существенно раньше и совсем не рассчитывая на такой результат). Развивайте эмпатию — постарайтесь почувствовать себя на месте пользователя и понять, в чем причина необычного поведения.

Что люди делают, когда не могут получить доступ к любимым сервисам?

Известно, что большинство крупных популярных интернет-сервисов обычно работают очень стабильно. Но иногда даже у них возникают технические проблемы, и пользователи остаются без доступа. И что же люди делают в таких случаях?

Наша статистика отображает и актуальные тренды, и то, что сейчас беспокоит людей, поскольку главная страница Mail.Ru — это своего рода социальный термометр. Кроме того, мы сразу видим реакцию людей на проблемы, и она поразительна.

Когда проблема возникает у другого поискового сервиса, число поисковых запросов на нашей главной странице немедленно вырастает. Увеличивается и размер аудитории, поскольку с поисковыми запросами обращаются новые пользователи. Люди легко переходят от одного поискового сервиса к другому.

Проблемы у социальной сети дают просто поразительный эффект. Это похоже на паническое бегство сразу во всех направлениях. Люди начинают больше пользоваться Почтой, растет число поисковых запросов, чаще загружают наш браузер и ICQ, читают больше новостей. Наверное, последнее — еще один способ прокрастинации.

При возникновении проблемы с другим почтовым сервисом увеличения переходов в нашу «Почту», или на другие сервисы, например, «Новости» или «Поиск» не происходит. Однако начинает заметно расти число регистраций особенно от тех людей, у которых ешё не было почты на Mail.Ru.

Даже изменения или проблемы, происходящие в других странах, с другими продуктами и сервисами, могут оказать влияние на ваш сервис. Хорошая статистика и счетчики помогут увидеть это и даже помочь разочарованным пользователям.

Ненужная помощь при верификации

Вернемся к нашему продукту «Mail.Ru для бизнеса» и процессу верификации, с которым пользователи сталкиваются, подключая домен к системе. В процессе редизайна (который product-менеджеры просто обожают) дизайнер предложил способ улучшения процесса верификации.

Этот процесс довольно сложен для пользователей: они должны перейти на сайт регистратора своего доменного имени и выполнить ряд действий, требующих немало времени. До начала редизайна мы решили помочь пользователям, предоставив им ссылку на статью с указаниями по работе с различными регистраторами. В ней содержалась пошаговая инструкция и рекомендации по добавлению записей для конкретного регистратора.

Дизайнер внес очень простое предложение: если мы можем сами определить регистратора, зачем нужны ссылки на статьи — проще сразу предоставить пользователю поэтапную инструкцию для его регистратора. Идея была столь проста и очевидна, что нам захотелось ее сразу внедрить. Но потребовалось бы перенести или переписать нескольких десятков статей, а на это нужно время.

Поэтому сначала мы решили выбрать одну статью об одном регистраторе (самом крупном на российском рынке) и провести A/B-тестирование, чтобы оценить, действительно ли новый подход будет лучше для наших пользователей.

Мы внедрили одно изменение, показали его 50% пользователей и отследили конверсию в успешные подключения для обеих групп. Мы были уверены, что конверсия вырастет, но хотелось узнать, каким именно будет рост. Увеличится ли она вдвое или совсем незначительно? А вдруг мы ошиблись, и она останется прежней?

И да, мы действительно ошиблись — скорость перехода упала втрое. Нас это так поразило, что мы решили: эксперимент прошел с ошибками. Мы несколько раз проверили, все ли было сделано верно. Но результаты были точными. Похоже, более подробное описание действий по верификации домена отпугивало пользователей — они решали, что процесс того не стоит, и покидали сайт.

Это шло вразрез с нашими ожиданиями. Хорошо, что мы решили начать с небольших изменений и провести A/B-тест. Мы не только сэкономили силы и время, но и узнали кое-что новое о наших пользователях.

Даже если прогноз верен, всегда лучше провести испытания, чтобы понять точный результат внедрения изменений. Разработчики всегда рады узнать, что код, который они написали, помог увеличить аудиторию.

Помните, всегда есть вероятность, что вы ошибаетесь. Чудовищно ошибаетесь. Всегда сомневайтесь, тестируйте и измеряйте.