Проверка продуктовых гипотез и немодерируемые UX-исследования c применением внутренних инструментов: кейс команды OK
Проверка гипотез — неотъемлемая часть работы с продуктом. Но в условиях крупного «живого» проекта, такого как ОК, зачастую возникает не одна, а много гипотез одновременно, которые нужно проверить быстро, без негативного влияния на сервис и с минимальными затратами.
Для решения таких задач используют разные подходы, в том числе качественные и количественные UX-исследования. При этом количественные исследования часто подразумевают работу с инструментами внешних вендоров, что не всегда оптимально — дорого, есть ограничения по количеству запусков, могут быть проблемы с набором релевантной аудитории.
Поскольку в нашей продуктовой работе много гипотез, нам было важно уйти от таких ограничений. Мы решили задействовать собственный внутренний инструмент.
Рассказываем, что получилось в итоге.
Зачем нужны исследования
UX-исследования — один из способов определения потребностей и предпочтений пользователей. На основе результатов анализа разработчики могут создавать более удобные и интуитивно понятные продукты, которые лучше соответствуют ожиданиям пользователей.
Типов UX-исследований много. В большинстве случаев они сводятся к живому общению с конечными пользователями продукта, показу прототипов или опросам на основе ранее сформированных гипотез. Каждый из типов исследования имеет свои особенности и сценарии применения.
При выкатке глобальных изменений и доработок мы в ОК стараемся задействовать все основные типы UX-исследований, в том числе немодерируемое тестирование.
Справка! Немодерируемое тестирование — подход, который подразумевает тест продукта или отдельных его компонентов без участия исследователя. Респондент делает задания сам, а после исследователь может посмотреть результаты в форме отчета с данными. Немодерируемое исследование легко встраивается в процессы по разработке продукта и позволяет быстро получить нужную информацию, но подразумевает использование специальных инструментов и сервисов для автоматизации сбора данных.
Подробнее о внутренней реализации немодерируемых UX-исследований в OK.Tech
Изначально для проведения немодерируемых исследований мы использовали сторонний сервис. Но по ряду параметров решение устраивало нас не полностью. В целом все указанные ниже причины можно отнести практически к любой аналогичной платформе.
Стоимость. Возможности немодерируемых UX-исследований напрямую зависят от активной подписки и, соответственно, ее стоимости. В условиях частого тестирования большого количества гипотез мы были вынуждены или отказываться от части тестов или увеличивать бюджет, сильно выходя за его рамки.
Низкая конверсия в прохождение исследования. Механика платформы подразумевает создание исследования и приглашение пользователей по внешней ссылке. Это создает несколько трудностей. Во-первых, ссылка может затеряться среди прочих уведомлений. Во-вторых, пользователи часто опасаются переходить из сервиса по внешней ссылке и давать дополнительные разрешения. В-третьих, для тестирования мобильных версий прототипов пользователю надо скачать приложение, что значительно снижает конверсию в прохождение.
Скорость проведения исследований. На подготовку всех данных и тест у нас уходило около недели на каждую итерацию, за которой следовали доработки и повторные запуски. В итоге скорость проведения нас не устраивала.
Ограниченная экспертиза. С ростом проекта число запросов на исследования стало расти. Использование внешнего сервиса, доступ к которому есть у малого числа сотрудников, повышает bus factor и снижает гибкость в проведении исследований.
Взаимодействие с внешней службой поддержки. Любые возникающие с сервисом проблемы надо решать через команду стороннего сервиса. При этом не всегда ответ можно получить быстро, а некоторые вопросы и вовсе нельзя решить. В итоге мы работали с ограниченным функционалом.
Мы понимали, что нужно альтернативное решение. После поиска вариантов мы решили задействовать под эти задачи внутренний сервис «Модератор ОК». Это приложение в самой социальной сети, где каждый пользователь в формате игры может помочь администрации с решением задач, связанных с разметкой данных и ручной модерацией. Например, мы привлекаем пользователей для:
разметки фото, gif и видео для обучения моделей;
потоковой категоризации данных;
массовой модерации фото, gif и видео.
Ежедневно аудитория «Модератор ОК» размечает 2 млн заданий.
Мы понимали, что «Модератор ОК» легко адаптировать под UX-исследования — фактически нам понадобилось только добавить в выборку задач для пользователей вопросы UX-исследования.
Выбор в пользу собственного сервиса дал нам сразу ряд преимуществ.
Отсутствие рисков vendor lock-in. Мы уходим от привязки к внешнему инструменту и исключаем необходимость передавать данные «на сторону».
Полная релевантность аудитории. Участники сервиса «Модератор ОК» — пользователи соцсети. Они хорошо знакомы с продуктом, что обеспечивает высокий уровень вовлеченности респондентов и объективности ответов.
Сокращение времени и уменьшение затрат. Используя свой сервис, мы можем получать релевантные результаты меньше чем за неделю. При этом не надо платить за подписку или покупать лицензию на сторонний инструмент.
Возможность выгрузки промежуточных результатов. Мы можем оперативно получать результаты исследований без запроса «на сторону».
Высокая конверсия в прохождение. Пользователям комфортно оставаться внутри сервиса. К тому же, в качестве дополнительной мотивации в приложении предусмотрена механика получения баллов за прохождение исследований/игр, что повышает вовлеченность.
Оперативная обратная связь. Если мы замечаем странное поведение сервиса, то можем быстро получить обратную связь от команды разработки и оперативно исправить ситуацию.
Механика «контрольного вопроса». Мы можем из общего числа вопросов посмотреть релевантные ответы и исключить тех, кто «прокликал» ради баллов.
Примеры реализованных кейсов
Мы уже используем сервис «Модератор ОК» для тестирования внутренних гипотез по развитию ОК.
Работает это следующим образом:
Заводим исследование.
Запускаем игру.
Собираем ответы пользователей.
Анализируем полученные результаты.
Таким образом мы уже смогли проверить несколько гипотез.
Пример 1. Выбор формата отображения в ленте времени создания постов
Контекст. В ОК было восемь видов отображения даты на разных платформах. Для улучшения пользовательского опыта было важно унифицировать формат отображения, сделать его понятным и удобным.
Цель исследования. Мы хотели выявить особенности отображения даты у конкурентов, сформировать алгоритм/способ отображения даты в ОК и унифицировать формат отображения времени создания поста на портале.
Суть исследования. В поисках лучшего решения мы применили сразу несколько методик:
конкурентный анализ;
качественные интервью;
количественный опрос.
Для количественного опроса мы использовали сервис «Модератор ОК». Пользователям предлагались задания с выбором варианта ответа и возможностью в развернутом виде обосновать, почему они предпочли тот или иной вариант.
Например, мы использовали следующие варианты заданий:
Результаты. В количественном опросе через сервис «Модератор ОК» приняло участие почти 2000 человек за 4 дня. Анализ всех ответов показал, что:
Респонденты легко считывают формат «сегодня» и «вчера», хотя предпочитают точную дату и время.
Желание видеть точное время можно связать с наличием друзей в разных часовых поясах, где формат «часов назад» не всегда дает четкое понимание.
Респондентам сложно представить, как будет выглядеть «дней назад» или «часов назад», если пост опубликован очень давно.
Респондентам важно понимать насколько активна группа, а самый простой способ — это время и даты поста.
То, что было сегодня важно с точностью до минуты, поскольку день еще идет.
По результатам конкурентного анализа, качественных исследований и количественного опроса в Модератор ОК мы приняли решение использовать формат отображения точной даты публикации поста (число, месяц, год) и разработали решения для более низкочастотных кейсов.
Пример 2. Выбор названия для кнопки вступления в группу
Контекст. В ОК 14 вариантов названия кнопки для вступления в группу. Мы понимали, что это может путать пользователей и влиять на количество вступлений в группу.
Цель исследования. Анализ конкурентов показал, что большинство использует разный нейминг для кнопок вступления. Мы хотели выяснить, какое название кнопки будет наиболее понятно пользователям.
Суть исследования. Чтобы понять какое название кнопки выбирают большинство людей, мы запустили опрос через сервис «Модератор ОК».
Пользователям сервиса были представлены вопросы с картинками и варианты ответов, в следующем формате:
Результаты. За неделю в исследовании приняло участие более 3500 человек. Результаты опроса показали, что пользователи понимают, что кнопка «Вступить» означает вступление в группу, однако если предоставить выбор из разных названий кнопки, респонденты предпочитают слово «Подписаться».
Таким образом мы пришли к решению по унификации названия кнопки, которое будем реализовывать в ближайшее время.
Перспективы улучшения и планы на будущее
Мы только начали реализовывать потенциал сервиса для проверки гипотез — недостаточная функциональность ограничивает типы возможных количественных исследований, которые мы можем проводить на этапе дискавери.
В рамках развития сервиса мы планируем большой пул задач. Среди них:
Предоставление продакт-менеджеру возможности самостоятельного запуска исследования и быстрого получения результатов.
Внедрение возможности сочетания разных типов вопросов (открытые/закрытые/карта кликов). Изначально функционал приложения не давал такой возможности.
Разработка типа задания «Карта кликов». Это позволит проверять гипотезы на юзабилити портала. Например, чтобы узнать, на что в первую очередь пользователи обращают внимание и соотносятся ли паттерны использования сервиса пользователями с нашими гипотезами.
Увеличение аудитории сервиса «Модератор ОК» и внедрение возможности выбора респондентов для исследования. Это позволит тестировать гипотезы на более узких ЦА.
Подобная доработка позволит сократить цикл «создание исследования — получение результатов» до двух часов, увеличить количество релевантных, объективных ответов на вопросы исследования, повысить конверсию в прохождение исследования.
Если хотите поделиться похожим кейсом или остались вопросы — добро пожаловать в комментарии и личку.
