Как СберМаркет тестирует простые и сложные продуктовые гипотезы на реальных кейсах
Всем привет! Я Стас Дергунов, Head of Product в СберМаркете. В моем портфеле три направления: самовывоз из магазина и в авто, покупки в офлайне-магазинах с помощью сервиса ScanPay и новые вертикали none-food (аптеки, бытовая техника и электроника).
В статье расскажу, как мы внутри компании проверяем простые и сложные гипотезы
на основе данных, что позволяет поддерживать рост в 1,6 раз год к году.
Что такое продуктовый подход в СберМаркете?
Это создание ценности, которая приносит пользу бизнесу и пользователям. В основе лежит data-driven подход, где мы фокусируемся на том, что нужно пользователям, а не только на мнении экспертов внутри компании. Для регулярности поставок ценности используем циклы discovery/delivery на основе agile/scrum.
Сегодня поговорим о понятии простых и сложных гипотез и работе с ними.
Сначала о терминах
Уровень сложности исходит из кол-ва абстракций, которые мы хотим исследовать. Чем их значение выше, тем гипотеза сложнее.
Простая гипотеза формулируется в классическом фреймворке «Если …, то …».
Например, у нас есть гипотеза:
Если добавить на главный экран мобильного приложения функционал выбора между доставкой и самовывозом, это сократит кол-во ошибок пользователей
на этапах оформления заказа.
Видим, что здесь в одном месте — одно изменение.
Сложная гипотеза — это несколько уровней абстракции, которые состоят из связанных между собой гипотез. Для их проверки которых требуется серия исследований.
Пример:
Если дадим старым клиентам новый опыт покупок в офлайн-магазинах, который поможет им сэкономить время и деньги, то они начнут им пользоваться вместо обычных касс.
Видим, что здесь сразу несколько гипотез в разных местах, на стыке офлайна и онлайна.
Исследования мы проводим в трех случаях:
Если хотим проверить гипотезу, улучшает ли новое решение пользовательский опыт и продуктовые метрики по сравнению с текущим вариантом.
Если планируем выяснить, насколько решение отвечает потребностям пользователей. Например, если такой функции раньше не было, но она может быть полезной.
Если у нас нет решения, а есть запрос на вдохновение или поиск потребностей и проблем клиентов.
Понимая, какая гипотеза на столе, мы можем применять разные исследования, чтобы снизить риски неудачных решений. Ещё это помогает проводить исследования дешевле, например, без привлечения разработчиков для A/Б теста. О способах проверки расскажу далее.
Методы проверки простых гипотез
Немодерируемые тесты в количественных исследованиях. Пример — first click. Можно использовать респондентов на краудсорсинговых платформах, выдаем им задание и смотрим на тепловые карты взаимодействия с интерфейсом. Ещё можно использовать респондентов СберМаркета, фильтруя, например, по частоте заказа/специфика и пр. Свою базу мы в последнее время стали использовать намного чаще.
На таком исследовании видим не только куда кликнул испытуемый, но и за какое время.Модерируемые тесты, они же глубинные юзабилити-интервью или UX-исследования. У нас есть гипотеза в виде интерфейса и задача — проверить, понятно ли решение для клиента.
Немодерируемый тест — на примере самовывоза из магазина
Задача: добавить в мобильное приложение возможность выбирать способ получения заказа (доставка или самовывоз из выбранного магазина). Мы хотели понять, в каком
из трех вариантов посетители быстрее найдут кнопку самовывоза на главном экране.
Вторая задача: понять, куда кликают для оформления самовывоза, если дать несколько вариантов.
Для этого мы запустили немодерируемый онлайн-опрос по базе клиентов СберМаркета.
Часть 1: Тест первого клика
В эксперименте один респондент тестировал только один вариант главной страницы.
Задание звучало так:
Представьте, что вам нужно заказать продукты и забрать их самовывозом
из магазина. Куда на экране вы нажмёте, чтобы это сделать?
Примеры интерфейса для тестирования
Какие сделали выводы?
В категории «Еда»:
Лучше всего работает вариант «новый 1» — там бóльшая доля людей без сомнения идет в «переключалку»: доставка или самовывоз.
Текущий вариант тоже работает хорошо, но, сравнивая с «новым 1», клики людей чуть более «размазаны» по странице, хотя они все равно справляются быстро.
Вариант «новый 2» самый неудачный: очень разнородные клики, людям надо искать и думать — тратят больше всего времени.
В категории «Алкоголь»:
В целом справляются быстрее, чем в еде
Уже не так важны кнопки «самовывоз», «переключалка» и пр. — большинство
в любом случае «идет» через джобу «Алкоголь».
Часть 2: Субъективная оценка
Задание:
Ниже вы увидите высказывания разных людей о том, как им удобнее всего оформлять заказы самовывозом через приложение. Выберите то высказывание,
с которым вы согласны и которое лично вам кажется наиболее близким.1. Хочу зайти в приложение, выбрать способ получения «самовывоз», а потом уже выбирать доступный магазин и собирать корзину.
2. Хочу сначала собрать корзину из нужных мне товаров, а потом уже выбирать — самовывоз мне нужен или доставка.
3. Мне важно сначала выбрать конкретный магазин или точку (понять адрес и режим работы), а потом уже собирать корзину для самовывоза именно в этом магазине.
4. Другое.
Выше — результаты, которые мы получили. На их основе наметилось два пути.
Использовать вариант «новый 1» (если наша главная цель — выстроить более однозначный сценарий для клиента).
Оставить текущий вариант, т.к. он тоже удобный и подходящий, но чуть менее конкретный (видим больше «кликов в другие места страницы).
Модерируемый тест — на примере UX-исследования для сервиса самовывоза
Задача: встроить в опыт клиента товары и ретейлеры, которые работают только
по самовывозу. Это позволит увеличить ассортимент для покупателя, а для ритейлера
без доставки получить заказы. Целимся в основные точки касания с клиентом в поиске и выдачи.
1 — поле ввода запроса, 2 — выдача для доставки, 3 — состояние с самовывозом
Метод исследования: модерируемое UX-тестирование с элементами интервью. Тестировали прототип со сценарием самовывоза в поиске. Средняя продолжительность одного теста — 40 минут. Всего провели 6 UX-тестов.
Тестировали на аудиторию:
Активные пользователи СберМаркета — делают заказы не реже нескольких
раз в месяц.Активно пользуются самовывозом — не реже нескольких раз в месяц.
Возраст респондентов: от 20 до 55 лет
Распределение по полу: 6 женщин, 2 мужчины.
Какие рекомендации сформулировали на основе исследования:
Проработать актуальность фильтров и название.
Дать возможность смотреть расстояние для ближайшего магазина.
Упростить работу с выбором адреса и построением маршрута.
Пример результата из исследования
Методы проверки сложных гипотез — на примере сервиса ScanPay
Выше рассказал про методы проверки простых гипотез. К ним имеет смысл переходить тогда, когда понятно, что продукт нужен, и осталось понять, как сделать его лучше, быстрее и удобнее.
Расскажу, как мы искали точки кратного роста для бизнеса на примере запуска нового сервиса ScanPay в СберМаркете.
Для подобных кейсов требуется комплексные исследования гипотез разными методами (один из них — тест первого клика). Цель: быстро подтвердить их или опровергнуть и сделать пивот.
Что такое ScanPay?
Это функция внутри приложения СберМаркета, которая позволяет сканировать товары
в магазине и оплачивать без очередей в приложении, применяя программы лояльности СберСпасибо и магазина (детали по ссылке).
Преимущества сервиса ScanPay
#1 Анализируем рынок и стратегии
Обязательно погружаемся в стратегию компании, чтобы понять планы по развитию
и целями на ближайшие несколько лет. Проведя анализ, мы увидим текущие рынки,
на которых играет компания и там, где она пока не представлена.
Например: мы определили, что рынок Grocery состоит из двух сегментов: онлайн и оффлайн. В онлайне (e-grocery) СберМаркет — лидер рынка на 165 млрд рублей в 2023,
а вот в офлайне присутствия СберМаркета нет.
Оценка рынка продовольственных продуктов в 2023 году — 47,4 трлн рублей (рост год
к году на 6,4%). Делаем вывод, что есть огромный рынок офлайн-аудитории и пришло время провести исследования потребностей сегмента. Эту гипотезу мы берем в работу.
#2 Изучаем клиентов
Для начала проводим качественные исследования, цель которых — понять потребности
и проблемы клиентов в офлайн-магазинах. Кроме этого, узнаём, как сейчас клиенты решают эти проблемы, для этого задействуем интервью.
Пример вопросов в ходе интервью:
Как сейчас решаете задачу?
Какие проблемы бывают? В каких ситуациях и как часто сталкиваетесь с ними?
Насколько эти проблемы вас раздражают?
Как вы справляетесь с проблемами?
#3 Проверяем гипотезу количественно
Следующий этап — оцифровать и приоритизировать с помощью количественных исследований, на чем именно нужно сфокусироваться среди всех потребностей
и проблем. Цель: выявить критичность проблем и потребностей. Метод — опрос.
По результатам этих двух исследований мы нашли интересный сегмент — омниканальные клиенты (совершают покупку в онлайн и оффлайн канале). Они иногда покупают продукты онлайн в СберМаркете, а иногда в офлайн-магазинах.
Мы решили сфокусироваться на этой аудитории и сформулировали гипотезу:
Если мы дадим клиентам СберМаркета новый сервис при покупках в офлайне,
то увеличим кол-во покупок и средний чек у таких клиентов за счет омни-опыта,
а ещё сможем быстрее и дешевле привлечь клиентов в новый сервис.
Структурируем наш сегмент и строим дерево задач клиентов по методологии job-to-be-done с путем клиента по этапам в оффлайне: до магазина, в магазине, после магазина.
За основу взяли качественные исследования, которые мы проводили ранее.
#4 Ищем УТП
Параллельно провели анализ конкурентов в РФ и за рубежом. По решениям
для сегмента:
Это помогает сформировать насмотренность по конкурентам и их решениям.
Исследование конкурентов в РФ и Global
На основе потребностей и проблем формируем для нашего сегмента варианты УТП или value proposition. Вот, какие получились у нас:
возможность отслеживать стоимость отдельных товаров и всей корзины в онлайн-режиме;
оплата в мобильном приложении без очередей;
использование программ лояльности и СберСпасибо, и от ретейлера, где можно списать и начислить виртуальные рубли.
#4 Тестируем концепции
Примеры двух концепций для ScanPay
Теперь нужно понять, заинтересован ли клиент и готов ли он попробовать наше решение?
Инструмент валидации — fake door. Это количественный метод для верификации спроса
и сбора аудитории, которая оставит заявку на получения доступа к сервису.
Другими словами мы делимся с клиентом продуктом, который якобы уже создан,
и смотрим на его реакцию.
Например, мы направили в магазины команду промоутеров, которая взаимодействовала
с потенциальными клиентами, предлагая им продукт. Их задачей было установить приложение СберМаркет для новыех клиентов, а для старых — активировать режим ScanPay на главном экране.
Так мы протестировали концепции клиентских ценностей, где получили нужную нам информацию:
верифицировали УТП и коммуникацию с клиентами;
провалидировали шаги в воронке. Например, мы поняли, что взаимодействие
с промоутерами (в какой-то момент нахождения в магазине клиент узнавал
о продукте) непосредственно влияет на готовность воспользоваться сервисом.
На выходе это позволило внести корректировки в ожидания от продукта и его позиционирование.
Как простые гипотезы вписываются в сложные
А теперь давайте посмотрим пример, когда простая гипотеза вписывается в сложную через те инструменты, что обсудили выше.
Например, наша цель — протестировать заметность нового варианта расположения точки входа в услугу ScanPay по сравнению с текущим вариантом.
Метод исследования — немодерируемый тест на платформе Useberry, количественное исследование. Целевая аудитория: пользователи СберМаркета с разным опытом использования сервиса. Количество респондентов: по 100 человек на каждый из вариантов дизайна, непересекающиеся аудитории.
Преимущества метода:
Возможность количественно подтвердить, насколько предложенное решение отвечает потребностям пользователя.
Если решений интерфейса несколько, до А/В-теста оценить потенциал каждого:
это может быть актуально, когда точек входа в раздел несколько.Благодаря методу first click возможно найти новые решения, ранее не очевидные
при проработке продукта.
Пример тепловой карты
На старой главной: Лишь треть опрошенных в первую очередь нажимали на плашку «Scan Pay | Сканировать» в нижней части экрана. Большинство пользователей (61%) ассоциировало вход в услугу с выбором магазина, в котором планируется покупка.
Это дало понять, что необходимо реализовать дополнительную точку входа на главной ретейлера.
На новой главной: почти половина опрошенных (46%) корректно считала точку входа
в услугу, при этом процент ошибочного выбора других разделов экрана значительно снизился по сравнению с текущим вариантом. Выбор услуги на странице ритейлера составил 31%.
Резюмирую: мы прошли путь от поиска рынка и изучения стратегии компании, работы с клиентами на рынке и поиске проблем и потребностей, сфокусировались на омниканальных клиентах, изучили опыт конкурентов, применили количественный метод для подтверждения гипотезы. Так мы ищем для клиентов возможности в продуктов, которые клиенты пока не осознали.
Выводы
Я рассказал, как мы работаем с простыми и сложными гипотезами. Показал, как простые гипотезы вписываются в сложные и работают в связке. Рассказал про области применимости методов и ограничений.
Что еще отмечу: важно в каждом исследовании советоваться с исследователями, потому что универсальных решений нет, и ключ успеха — правильная комбинация подходов. Поэтому, на мой взгляд, ключевая задача продукт-менеджера — повышать насмотренность и учиться применять разный набор инструментов.
Благодарю за помощь в подготовке статьи исследователя из моей команды Наташу Гурееву.
Product&data команда СберМаркета ведет соцсети с новостями и анонсами. Если хочешь узнать, что под капотом высоконагруженного e-commerce, следи за нами
в Telegram и на YouTube. А также слушай подкаст «Для tech и этих» от наших it-менеджеров.
