Как работают исследователи Авито
Привет, меня зовут Михаил Правдин, я руковожу UX-лабораторией Авито. Хочу рассказать, чем занимается моя команда, какие методы есть в её арсенале, и как наша работа позволяет достигать бизнес-целей.
Про техническое устройство юзабилити-лабораторий на Хабре неоднократно рассказывали другие компании, поэтому сосредоточусь на том, как наши исследователи интегрированы в продуктовые процессы.
Чем занимается исследователь Авито
Исследователь в Авито — это человек, который помогает команде создавать полезные продукты для пользователей и двигаться небольшими итерациям. Мы тестируем и корректируем продуктовые идеи на каждом этапе создания, чтобы не возникало ситуаций, когда инженеры тратят время на разработку ненужных и неудобных функций.
Работа исследователя состоит в том, чтобы помогать командам проверять гипотезы наиболее эффективным способом. Мы формулируем их на каждой итерации работы над продуктом. Гипотезы бывают о потребности и о решении. Например, у нас есть гипотеза, что пользователи не хотят размещать свой номер телефона на нашей площадке, так как предположительно боятся спама. И есть гипотеза о решении, что если мы предложим подменный номер, это решит проблему. Мы стараемся сначала проверить и доуточнить проблемную гипотезу, а потом проверить гипотезу о решении — убедиться, что оно сработает.
За счёт исследований в UX-лаборатории мы выпускаем на рынок наиболее соответствующие потребностям и ожиданиям пользователей продукты, которыми удобно пользоваться. Как команда мы стремимся к тому, чтобы непонятных интерфейсов было как можно меньше, и чтобы наши сервисы давали клиентам возможность решать разные жизненные задачи.
Команда UX-лаборатории
UX-лаборатория существует в Авито с ноября 2016 года — на данный момент чуть больше трёх лет. Руководители сервиса здраво решили, что мы не можем делать просто интересные нам как владельцам продукта фичи. И не можем просто копировать у конкурентов. То есть нам нужно разрабатывать решения, опираясь на потребности и запросы клиентов.
Сейчас каждый исследователь отвечает за своё направление в Авито. Такое разделение нужно для того, чтобы человек очень плотно интегрировался в продукт. Внутри мы называем направления кластерами. Это, например, недвижимость, авто, работа, личные вещи — всего восемь кластеров.
Запуск продукта можно разделить на две части: discovery и delivery. Discovery — это когда команда из продакт-менеджера, аналитика, дизайнера и исследователя ищет, что именно отдать в разработку. Они ищут либо пользовательскую проблему, либо незакрытую потребность, либо способ закрывать текущую потребность лучше и быстрее. Они придумывают решение, проверяют его на тестах и только потом отдают инженерам описание задачи. Здесь процесс переходит в стадию delivery, где команда разработки технически воплощает решение, описанное командой дискавери, и делает то, что увидит пользователь.
Исследователь участвует во всех discovery-активностях кластера для максимального погружения в контекст задач. Поэтому в идеале исследователей должно быть столько же, сколько и кластеров — восемь человек. Сейчас нам не хватает людей, но мы активно их ищем.
При этом все исследователи физически сидят в одном пространстве, а не вместе со своими продуктовыми командами. Тому две причины. Во-первых, кластеры в Авито состоят из нескольких продуктовых команд и сложно выбрать единое место в офисе со всеми сразу. Во-вторых, за счёт того, что коллектив UX-лаборатории сидит вместе, мы кросс-опыляемся релевантным исследовательским опытом и всегда можем спросить друг у друга совета.
Откуда берём информацию для гипотез
Исследователи — не единственные в Авито, кто находит пользовательские потребности или проблемы. Таких функций сразу несколько, а вся собранная информация стекается в продуктовые команды.
Всю информацию от клиентов можно разделить на четыре типа:
- понимание их потребностей;
- понимание их болей;
- понимание технических багов в нашем сервисе
- понимание usability-проблем в нашем сервисе.
Support получает 12 тысяч текстовых, 8 тысяч голосовых и 4 тысячи сообщений в социальных сетях каждый день. Это 24 тысячи обращений, среди которых огромное количество продуктовых инсайтов.
Команда аналитики собирает данные о пользовательском поведении на Авито. Они особенно важны для исследований, потому что отражают реальную, а не субъективную картину. Человек может говорить всё, что угодно, но по факту делать другое. Аналитика — это священный Грааль озарений о том, что пользователи делают. Она позволяет следить за конверсиями на каждом этапе воронки, проводить А/Б-тесты и даже смотреть в видеоформате за действиями клиентов в интерфейсе с помощью вебвизора Яндекса.
Команда менеджеров по продажам состоит из account-менеджеров, hunter-менеджеров и welcome-менеджеров. Всего чуть больше трёхсот человек, которые передают связь от клиентов.
Перечисленные выше каналы обратной связи относятся к пассивным — они все про работу с информацией, которая уже есть. Кроме них мы используем и проактивные методы.
Net promoter score, сокращённо NPS, — это индекс потребительской лояльности, который мы периодически замеряем на сайте Авито. Это опрос, где есть оценка и поле для комментария клиента, где мы просим объяснить поставленный балл.
Eat your own dog food. Все новые сотрудники компании участвуют во встрече под названием eat your own dog food. У людей на испытательном сроке есть задание купить и продать что-то на Авито. Это могут быть как личные вещи, так и машина или квартира. Мы хотим, чтобы все сотрудники имели свежий опыт использования сервиса.
Мы используем этот канал как один из источников voice of the customer. Каждую неделю команда исследователей проводит встречи с новичками, которые выполнили задание — это 10—15 человек. Мы собираем инсайты и передаём их продуктовым командам. За год получается 500—800 опрошенных с релевантным опытом.
Исследования. Проактивно собирают обратную связь UX-лаборатория и команда маркетинга. Лаборатория отвечает за качественные исследования, маркетинг — за количественные. Качественные исследования — это в основном интервью и юзабилити-тесты. Выборка в них обычно 5—15 человек. Количественные исследования — это опросы, массовые обзвоны, анализ рынка. В них обычно участвуют больше 100 человек.
Такое разделение — специфика Авито. Лаборатория постоянно синхронизируется с маркетингом. Мы часто валидируем качественную часть количественным методом и наоборот: перед тем, как запустить количественное исследование, ищем инсайты, используя качественные методы. Исследователю нужно сначала узнать причины, а потом проверить, насколько часто они встречаются у разных групп пользователей. Поэтому мы с маркетингом находимся в одной связке, хотя формально разделены на два отдела.
Процесс запуска новых сервисов
У Авито есть бизнес-цели — их формулирует топ-менеджмент, опираясь на рынок и клиентские потребности. Бизнес-цели каскадируются на кластеры и команды.
Допустим, на уровне компании мы хотим вырастить количество сделок, и эта цель приходит к ребятам, которые делают мессенджер. Команда начинает думать, как именно они помогут «большому» Авито достичь цели. Процесс поиска решения проходит через несколько этапов.
Первый этап — сбор инсайтов. На нём продуктовая команда собирает разные сигналы от пользователей, которые могут повлиять на достижение цели. Тут мы используем все каналы сбора обратной связи, о которых я говорил выше. Например, мы посмотрим:
- что пользователи пишут в поддержку;
- что спрашивают и на что жалуются в социальных сетях;
- есть ли какие-то заметные вещи в аналитике;
- что мы увидели на usability-тестах или интервью;
- о каких проблемах пользователи рассказывали в маркетинговых исследованиях;
- какие тенденции и лучшие практики есть на рынке.
Всю информацию команда продукта постоянно собирает в неразобранный черновой бэклог. И уже из него выберет самые интересные инсайты, которые потенциально помогут увеличить количество сделок на площадке, и начнёт их прорабатывать.
Второй этап — гипотеза о проблеме или потребности. Здесь продуктовая команда формулирует по каждому отобранному пункту конкретную проблему и старается собрать максимум информации о ней.
К примеру, пользователи-продавцы говорят технической поддержке, что не видят, когда им приходит новое сообщение в мессенджере. Из-за этого они отвечают на вопрос потенциального покупателя только через сутки. Кажется, что эта проблема может повлиять на сделки: если продавцы будут отвечать быстрее, количество сделок на площадке увеличится.
Продуктовая команда берёт идею в работу и доуточняет её. Например, проверяет, какое количество пользователей пропускает сообщения, как долго в среднем на них отвечают, по какой именно причине новые входящие не видны — не срабатывает пуш на десктопе или что-то другое на мобильном.
Третий этап — гипотеза о решении. Как только мы поняли проблему, то начинаем делать для неё решение. Продуктовая команда создаёт несколько решений, и проверяет их. В случае с мессенджером можно присылать пуш со звоночком, моргать красным, если пришло новое сообщение, или выделить мессенджер Авито в отдельное приложение. Мы тестируем решение на usability-тестах и, если оно отвечает проблеме и удобно для клиентов, отдаём его в разработку инженерам.
Исследователь включается в работу продуктовой команды на всех этапах. При сборе инсайтов он может поискать возможные проблемы и пообщаться с пользователями о незакрытых потребностях. При формулировании гипотезы UX-лаборатория проводит интервью или юзабилити-тесты с пользователями, чтобы понять, когда именно возникает проблема. Во время финального этапа исследователь проверяет каждое решение на клиентах и убеждается, что оно закрывает потребность и им удобно пользоваться.
Методы работы UX-лаборатории
Бо́льшая часть гипотез проверяется двумя методами — это интервью и юзабилити-тестирование. У тестирования и интервью есть множество форматов.
Интервью может быть очным, может быть удалённым по скайпу или телефону. Ещё мы проводим интервью внутри мессенджера Авито. Сейчас многим нравится общаться в чатах, поэтому это довольно комфортный формат для наших респондентов. Респондентами мы называем всех, кто участвует в исследованиях. Интервью может быть контекстуальным, когда клиент находится в определённом контексте, например, совершил нужное нам действие на сайте. Либо это может быть глубинное интервью про опыт пользователя в целом или его опыт решения конкретных задач.
Юзабилити-тесты могут проходить в лаборатории и быть удаленными. Они могут идти по заготовленным сценариям или быть свободными, когда исследователь просто наблюдает за тем, как человек решает свою проблему. Например, к нам приходит респондент, и мы его спрашиваем: «Какая у вас сейчас потребность? Почему вы хотите использовать Авито?». Человек отвечает, что ищет детскую коляску, но не новую, а б/у. Тогда исследователь предлагает респонденту начать поиск, а сам наблюдает за возникающими в процессе сложностями и задаёт о них вопросы.
Кроме интервью и юзабилити-тестов в арсенале исследователей есть дополнительные методы. Время от времени мы запускаем пользовательские дневники. Мы просим клиентов записывать действия, связанные с нашим сервисом или сервисом конкурентов, пока они решают свою задачу. Выглядит это примерно так: «Сегодня пришла на Авито. Я ищу квартиру, но ключевого запроса ещё нет. Хочу посмотреть, какие есть новостройки. Сходу раздела с новостройками на Авито не нашла». И такой дневник пользователь ведёт на протяжении недели, двух или даже месяца.
Мы проводим исследования с айтрекером — это прибор, который следит за направлением взгляда респондента. Такие эксперименты помогают лучше понимать, на какие интерфейсные элементы человек обращает внимание, а какие пропускает. В прошлом году мы попробовали использовать айтрекинг в количественном эксперименте. О том, что получилось, мы уже рассказывали на Хабре.
Исследователи могут использовать и другие методы, если того потребует задача. Но перечисленных выше хватает для 90% случаев. Продуктовой команде нужно в рамках одного-двух спринтов — у нас спринт идёт две недели — повысить достоверность гипотезы, поэтому мы стараемся проводить исследования, которые укладываются в эти сроки.
Иногда нужно проверить какую-то гипотезу за два часа. Тогда мы используем коридорный тест или интервью на коллегах. Респондентами будут сотрудники Авито, которые не связаны напрямую с продуктом — бухгалтерия, юристы, офисные службы. Исследователь выходит в коридор, отвлекает пять человек на 5—10 минут и проверяет гипотезу буквально за час. Это не идеальный метод, но он лучше, чем ничего.
Мы также практикуем формат, который называем антикоридорки или speed dating research. Мы приглашаем 6—7 клиентов и 6—7 команд проверять свои гипотезы. Представители продуктовых команд ходят от клиента к клиенту и быстро проверяют с ними идеи. На каждого — по 15 минут. Этот формат отлично подходит для проверки небольших гипотез.
Откуда берём респондентов
Респондентов, которые не являются пользователями Авито, мы находим с помощью специальных профильных агентств. Они называются рекрут-агентства и позволяют найти подходящих людей на разные виды исследований: маркетинговые, качественные, юзабилити-тесты, интервью.
С клиентами Авито процесс другой. Мы выгружаем из базы данных контакты потенциальных респондентов по заданным критериям и связываемся с ними через команду технической поддержки или в чате. Тем, кто откликнулся, подробно рассказываем об исследовании и договариваемся о встрече или созвоне.
Навыки для работы исследователем
Чаще всего исследователи — это бывшие социологи или психологи. Но я, например, не связан ни с тем ни с другим. Поэтому мне кажется, что исследователь — это прежде всего человек, который хочет создавать востребованные продукты и сервисы, которые реально улучшают жизнь клиентов.
Ты не сделаешь хороший продукт, если не будешь постоянно обращаться за обратной связью к пользователям. Исследователи чётко понимают, что при разработке решений нужно двигаться итерациями и не бояться общаться. Чтобы работать в UX-лаборатории — не имеет значения, как это называть — нужно получать настоящее удовольствие от постоянного взаимодействия и диалога со своей аудиторией, без этого будет сложно. Не менее важна и способность передать продуктовой команде такой подход и способ мышления.
Хороший исследователь сохраняет в себе детское любопытство. Мы много чего знаем, у нас в голове часто есть своё понимание ситуации и свои ментальные модели. Но, общаясь с каждым клиентом, нужно искренне его слушать как носителя уникального знания. Это помогает не экстраполировать свою точку зрения на других и не подменять действительное на желаемое. Кажется, что живой интерес к окружающему миру — неотъемлемая личностная черта исследователя.
При этом важно не принимать слова респондентов близко к сердцу. Респонденты могут негативить, могут тебя хвалить, могут быть нейтральны. Ты должен оставаться спокойным в любой из этих ситуаций.
Тут есть хорошая аналогия с врачом. Хороший врач не сможет поставить правильный диагноз и прописать лекарства, если не выслушает и не осмотрит пациента. Но он точно так же не сможет верно диагностировать причину недомогания, если будет опираться только на заключения пациента. Врач должен выслушать симптомы, сделать анализы и только после этого экспертно поставить диагноз.
Так и мы не можем разрабатывать сервисы, опираясь только на запросы клиентов или, наоборот, вообще не общаясь с ними. Мы должны выслушать пользователей, уточнить, что и как они делали, чтобы решить свою задачу, где им было сложно или что отняло много ресурса. А после этого сделать экспертные выводы о том, как можно решить задачу клиента ещё лучше, какой продукт ему подойдет.
Не могу сказать за всю индустрию продуктовых исследований, но в Авито мы с каждым годом больше смотрим на софт-скиллы потенциальных сотрудников лаборатории. Нам важна способность выстроить коммуникацию, умение привлечь команду, заразить её эмпатией к пользователю, научить команду быстрой проверке гипотез.
Практика и опыт, конечно, тоже важны, потому что помогают выработать автоматические реакции. Задача исследователя во многом состоит в том, вовремя давать подсказки, задавать нужные вопросы и не прерывать респондента там, где не надо. По моему мнению, эти навыки приходят примерно после 50 проведённых исследований или 500 часов разговоров и тестов с клиентами.
Подводя итоги
Исследователь в Авито — это участник discovery команды продукта, который обладает навыками и практиками эффективной проверки гипотез на каждом этапе, что позволяет создавать полезные и удобные продукты для клиентов.
