Для чего я использую немодерируемые тесты на Fabuza10.06.2021 11:16

Я отвечаю за одно из направлений в UX-лаборатории Mail.ru Group. Мы проводим исследования для продуктов, в командах которых нет своих исследователей. Проектов в бэклоге много, поэтому нужно постоянно искать решения по ускорению и распараллеливанию работы по нескольким исследованиям, подключать дизайнеров и продактов к самостоятельной работе над исследованиями.

Если вы ещё не знаете, что такое UX исследования, для чего они нужны и как их делать, рекомендую сначала ознакомиться с такими источниками:
Статьи моих коллег про создание и развитие продуктов, чтобы узнать, какое место в этом занимают исследование: 1, 2.

Блог директора UX-лаборатории Mail.ru Group Натальи Спрогис, где есть статьи с ликбезом how-to.

Обычно мы используем модерируемые UX-тесты: исследователь общается с респондентом лично в лаборатории или удаленно через видеосвязь. Это позволяет нам встраивать в тесты элементы интервью и гибко подходить к формированию сценария, добавлять новые вопросы по ходу, менять задания и т.д., что актуально для многих задач.

Для некоторых запросов лучше подходят немодерируемые UX-тесты с квази-количественным анализом, и эта статья о таких случаях. Я буду ссылаться на свой практический опыт и иногда упоминать практики, о которых мне рассказывали (под тэгом «говорят»).

Я использую Fabuza — ПО для проведения исследований, — поэтому буду рассказывать на её примере. У Fabuza есть свои удобства:

Возможность объединить в одном тесте опрос, тест первого клика и тестирование самого продукта.
Отсутствие ограничения на количество входов в один аккаунт и на количество аккаунтов, что экономит бюджет и позволяет работать с исследованиями всей командой.
Если оплачена лицензия и имеешь доступ к аудитории, то не нужен бюджет для исследовательского проекта.

Чтобы использовать немодерируемый тест, должны сойтись следующие параметры:

Вы проверяете целевые действия и хотите увидеть их на личных устройствах пользователей.
Вы не хотите рассуждать с пользователем об ответвлениях от предполагаемых целевых действий, «идти вглубь».
Пользовательский сценарий легко дробится на автономные части.
ЦА легкодоступна для вас или онлайн-панели, и хотелось бы включить много подгрупп за раз.
Нужно контролировать начинающего исследователя, но все его тесты не посмотреть.
Вам проще сейчас взаимодействовать с респондентами асинхронно, а не общаться с ними лично даже через экран.
Тест будет повторяться для сравнения вариантов, пре- и постзамера, отслеживания изменений.

Параметр выбора №1. Вы проверяете целевые действия и хотите увидеть их на личных устройствах пользователей

Исследование начинается с постановки задачи. Иногда довольно туманной.

«Есть продукт, мы его не исследовали, но кажется, что в нём могут быть проблемы, и хочется узнать, как люди им пользуются.»
«Мы запустили новый продукт, покупок нет, будем рады любым советам от вас, которые смогут привести к тому, что покупки появятся.»
«Нужна помощь. Хотим понять, что нам делать с нашей главной страницей сайта.»

Тогда мы выясняем, на что сейчас действительно может повлиять команда, и какими методами можно узнать нужную для этого информацию с учётом ресурсов: бюджета, времени ресечера и команды, срочности, критичности. Не редко первоначальный запрос трансформируется в серию задач в бэклоге, каждая со своим фокусом, ЦА, методом и приоритетом.

Немодерируемый тест выбираем для проверки целевых действий: получится ли у пользователя воспользоваться конкретным функционалом в заданной ситуации. Важно! Мы не проверяем, интересно ли ему это, и не адаптируем задания под его специфический запрос. Мы будем сразу искать респондентов, кому это актуально.

Подходит, если:

Заказчики уверены в своем предложении (product statement) или отвечают за другое. Пример: заказчик — дизайнер, он отвечает за то, чтобы пользователи верно поняли наше предложение и получили услугу с помощью его интерфейса, а не за то, какое оно, это предложение.
Заказчики хотят отточить фичу, чтобы когда пользователь ей воспользовался, у него не было проблем. Пример: продукт еще не раскручен, и до запуска массовой рекламной кампании мы хотим проверить, что, кликнув на баннер и попав на сайт, пользователь справится с покупкой товара.
Вопрос в реализации на конкретной платформе. Пример: у продукта четкое назначение, и мы знаем сценарии из предыдущих исследований, но раньше пользователи обычно заходили с ПК, а теперь с телефона; хотим узнать, есть ли сложности с основными сценариями именно на телефоне.

Аналоги для решения таких задач — любые другие тесты (очный или удаленный модерируемый, очный немодерируемый).

Преимущества удалённого немодерируемого тестирования по сравнению с offline-лабораторией:

Пользователь делает задание на своем устройстве. Мы получим больше информации о том, как может выглядеть дизайн в разных условиях.
Пользователь делает тест в привычной ему обстановке и меньше нервничает. Интересно при этом делать записи с камеры: это помогает понять контекст респондента при решении задачи и его эмоции :)
Шире доступ к аудитории: можно взять пользователей из других населенных пунктов, более занятых (проще выделить 15 мин, чем час на тест + время на дорогу) и больше подгрупп (об этом в разделе №4).
Не нужно выделять помещение в офисе, бронировать переговорку или лабораторию.

По сравнению с модерируемым тестом:

Чёткая повторяемость, заложенная способом коммуникации: респонденты в одинаковых условиях, расспросы модератора не влияют. Это удобно для замеров метрик.
Меньше требований к проведению.

Недостатки по сравнению с offline-лабораторией: мы не можем использовать айтрекер. А он иногда значительно облегчает понимание, в чём затык.

По сравнению с модерируемым тестом:

Нельзя совместить с обсуждением актуальности целевых действий и их контекста (об этом в разделе №2).
Не получится спросить, если появились какие-то неожиданные ответвления и проблемы (об этом в разделе №3).
Может быть больше требований к заданиям и их подготовке (об этом в разделах №2, 3).

Параметр выбора №2: Вы не хотите рассуждать с пользователем об ответвлениях от предполагаемых целевых действий, «идти вглубь»

«Идти вглубь» — это пытаться вместе с респондентом докопаться до его мотивации, факторов, которые влияют на него во время использования продукта или принятия решения. Если это то, что вам нужно, то немодерируемые методы — не ваш выбор. Но! Это не означает, что вы не можете наткнуться на что-то интересное в одном из ответов на открытые вопросы или в записи выполнения задания и в немодерируемом тесте.

Немодерируемое тестирование подразумевает, что респонденты делают задания самостоятельно по заранее подготовленным карточкам или с помощью ПО вроде Fabuza.

Преимущества:

Респондент не отвлекается, делает задание в своём темпе.
Ограничена возможность дискутировать на отвлеченные темы и затягивать встречу.

Недостаток: нельзя расспросить подробнее, если пользователь ответил слишком лаконично или не на тот вопрос, который вы подразумевали. Поэтому важно продумать формулировки заданий, протестировать и прописать в инструкциях то, что может показаться сложным в интерфейсе инструмента.

Говорят, если тест проводится на респондентах, найденных самостоятельно, то можно связаться с человеком постфактум, чтобы сделать ретроспективу. Если это необходимо, то лучше сделать немодерируемый тест частью модерируемого (на время выйти из кабинета или отключиться от созвона, чтобы респондент сделал задания сам, а потом вернуться и приступить к интервью).

Параметр выбора №3. Пользовательский сценарий легко дробится на автономные части

Сценарий теста для самостоятельного прохождения мы разбиваем на односложные этапы с конкретным действием и однозначным правильным ответом. Респонденты могут отвлечься, забыть длинное задание, но главное — не справиться с элементом сценария в середине, и нас не будет рядом, чтобы помочь перейти к следующему шагу и протестировать и его тоже.

Пример того, как можно делить на кусочки желаемое поведение:

Полезное для проекта поведение пользователей: долгое смотрение без перерыва или переход из плеера в сервис.

Целевые действия:

Пользователь должен заметить плеер и распознать, что это видеоконтент, а не реклама.

Пользователь должен смочь запустить видео.

Переход из плеера на сервис легко найти в плеере.

Пользователь легко сориентируется в элементах и их назначении: заголовок, логотип, плейлист, включение звука.

При этом не обязательно делать каждое задание на сайте или сложном прототипе. Что-то можно узнать с помощью вопросов про выделенный элемент на скриншоте и тестов первого клика. Такие методы идеально подходят, когда есть только элементы пользовательского сценария: макеты отдельных страниц.

В случае теста готового продукта мне нравится заменять такими заданиями спорные части сценария. Я ставлю их после задания на продукте, чтобы пользователь мог изучить сначала интерфейс «методом тыка», как это происходит в обычной ситуации.

Редактор немодерируемого теста первого клика:

Есть случаи, когда сценарий плохо разбивается. Использование немодерируемого теста для софта не подходит:

Если важно проконтролировать, что предыдущий шаг точно выполнится и сохранится, и это не решается простым стартом следующего шага с нужной страницы. Например, когда мы хотим увидеть чекаут зарегистрированного пользователя, а автоматом без правильных действий пользователя показать такую страницу не можем. (!) При этом, если по другим параметрам немодерируемый тест всё же предпочтительнее, попробуйте узнать про возможности скриптов. Аналитики Fabuza всегда готовы в этом помочь.
Если важно, чтобы пользователь заходил именно в свой аккаунт, или если мы не можем дать всем какие-то тестовые данные.
Если важно использовать не отдельные экраны, а прототип, но он плохо проработан.

Параметр выбора №4. ЦА легкодоступна для вас или онлайн-панели, и хотелось бы включить много подгрупп за раз

Важный критерий для адекватности применения немодерируемого теста — доступность (дешевизна) аудитории. Некоторые сервисы сразу предлагают широкую аудиторию в качестве пакетной услуги. Недостатки: мало критериев отбора, если это важно; возможно низкое качество ответов.

Fabuza предлагает подбор аудитории по вашим параметрам через крупные онлайн-панели. Это дороже. Зато можно найти свою аудиторию (пользователей конкурента и своих и т.д.) и как правило, за в эту стоимость входит дополнительный контроль качества. За неподходящих под запрос пользователей и читеров платить не нужно. Определить, читер ли пользователь, можно после просмотра видео и ответов на задания. Это важно, так как на некоторых других платформах немодерируемых количественных UX-тестов оплачиваются все участники, а некоторые рекрутинговые агентства дают для принятия решения только 15 минут от интервью. Подробнее про поиск читеров можно прочитать здесь.

Респонденты из онлайн-панели чуть лояльнее к длинным и не очень user friendly-анкетам. Но ограничение всё же есть. Панели обычно отказываются работать с анкетами или тестами дольше 25 мин.

Недостатки респондентов из онлайн-панели:

Некоторые пользователи онлайн-панели уже увидели много анкет и интерфейсов, привыкли их оценивать и выполнять задания. Они могут быстрее понять структуру разветвления заданий и начать «срезать», так как менее мотивированы делиться развернутой обратной связью. И не всегда такое поведение можно отнести к читерству. Поэтому важно делать задания интересными и без очевидных повторов.
Предполагается, что у респондентов, которые оказываются в онлайн-панели, есть дополнительный интерес пройти отбор из-за азарта и стремления больше заработать, а может быть просто высказаться по всем доступным поводам. Поэтому важно сделать в начале хорошую отборочную анкету, чтобы было сложно угадать критерии.
Наверняка, есть и другие отличия таких респондентов от «обычных людей», и мы не знаем, какие точно. Например, панели ищут своих респондентов посредством рекламы, и мы можем предположить, что те будут к ней более восприимчивы; у этих людей есть свободное время, которое они готовы занять за 100 руб, они готовы проходить сложные анкеты в не очень дружелюбном интерфейсе опросных сервисов, и возможно, это как-то влияет на то, как они будут взаимодействовать с вашим интерфейсом.

Обычно мы можем пренебречь этими недостатками, но лучше иметь их в виду. В то же время крупные панели, с которыми сотрудничают такие сервисы как Fabuza, признают важность ограничения профессионализации и заявляют, что активно набирают новых пользователей и контролируют повторные участия.

Отличный вариант — подбор участников среди своих пользователей. Например, через рассылку. Можно определить нужный сегмент с помощью аналитики. Также можно подтянуть какие-то параметры пользователя в таблицу ответов с помощью индивидуальных ссылок с URL-метками. В некоторых сервисах их можно подтянуть и в текст вопроса.

Преимущество по сравнению с in-person тестом на своей аудитории: большая экономия ресурсов на управлении договоренностями.

Недостаток: ссылка на сторонний сервис может показаться подозрительной части пользователей, в особенности, если нужно скачать расширение или приложение. Обязательно сразу предупреждайте об этом в рассылке и используйте свой официальный канал, правильно сверстанные письма и т.д. Представители Fabuza говорят, что ещё для решения этой проблемы они устанавливают свой софт на домен компании.

Несколько групп

Нередко при дальнейшем обсуждении задачи исследования мы можем получить ответ с таким подробным описанием ЦА (детали изменены):

Предмет исследования: мобильная версия
Цель исследования: сейчас основная часть пользователей сидит с мобильной версии. Причем аудитория мобильной версии зеркально отличается от аудитории веб-версии (смотри описание аудитории). Ранее мы делали упор на веб-версию, теперь будем совершенствовать мобильную версию, практически не трогая веб-версию.
Описание аудитории:
Десктопная версия:
— 40% женщин
— от 12 до 35 лет — 35% аудитории. 40+ лет — 65%. Причем большая доля 60+ (30%).
Мобильная версия:
— 70% женщин
— от 12 до 40 лет — 65% аудитории. 40+ лет — 35%. Заметно ниже доля 60+ (5%).
Интересуют группы пользователей:
1. постоянные пользователи мобильной версии
2. пользователи веб версии, которые почти не пользовались мобильной версией
3. пользователи конкурента
4. эпизодические пользователи

В случае модерируемого теста я стараюсь обсудить приоритеты по названным аудиториям, и либо исключить менее важные, либо разбить исследование на этапы.

В тесте с помощью софта для самозаполнения стоимость подбора участников и время на обработку полученных данных будут меньше, и мы можем позволить себе взять все описанные в примере группы (не отказываясь от проработки приоритетов и помня про ограничения). Дополнительный плюс: настроив логику фильтрации респондентов, мы автоматизируем контроль за количеством респондентов в каждой группе.

Часть логики, настроенной в Fabuza для этого теста:

Недостаток: логику может быть сложно настроить, так как нужно продумать все исходы. Если разбивка не такая простая, как 50/50 мужчины и женщины, то могут появляться пересечения или непопадание ни в одну из групп. Ситуация усложняется тем, что в Fabuza логика настраивается от противного: через исключение из теста и пропуски вопроса. Если вы хотите опросить пользователей, то нужно задать правило на определение НЕпользователей и их исключить. А если тестируете несколько групп, то нужно определить, какие ответы приводят к попаданию мимо них всех и исключить их тоже.

Фрагмент логики, исключающий тех, кто не попадал в наши 4 группы:

Параметр выбора №5. Нужно контролировать начинающего исследователя, но все его тесты не посмотреть

Качество результатов зависит от того, насколько грамотно были заданы вопросы: например, не было ли невольных подсказок. Это не означает, что модерируемые тесты начинающему исследователю совсем нельзя проводить самому. Просто бывает, что надежнее помочь настроить тест и показать, как смотреть.

Параметр выбора №6. Вам проще сейчас взаимодействовать с респондентами асинхронно, а не общаться с ними лично даже через экран

Устное общение и просто контакт с новыми людьми выматывает даже «экстравертов». Бесконтактные немодерируемые тесты на софте вроде Fabuza могут помочь вырваться из череды созвонов или встреч. Инструменты подстрахуют тех, кому сложно даются дополнительные контакты, и тем, кто рискует заболтаться. Кроме того, такой проект проще вести параллельно с другими или в нерабочее время, что, скорее всего, удобнее респондентам.

Недостатки:

Среди исследователей встречается специализация на «количественников» и «качественников», и это не только про статистику и аналитику, но и про составление заданий для самостоятельного заполнения.
Как модерируемый тест может совпасть со встречами, так и составление и анализ немодерируемого теста может совпасть с периодом переписок и написаний отчетов. Эффект тот же, только с обратным знаком.
Общение с респондентом может заряжать энергией, вдохновлять на изменения, развивать эмпатию к пользователю. У записей и ответов на вопросы этот эффект есть, но меньше.
Стресс от важности контакта с респондентом и страха не задать нужные вопросы сменяется боязнью не учесть все варианты развития событий, дать не ту ссылку и получить в итоге что-то не то.

Параметр выбора №7. Тест будет повторяться для сравнения, пре- и постзамера, отслеживания изменений

Немодерируемый тест достаточно удобно повторять, поэтому это хороший способ организовать UX-трекинг или проверить результаты изменений. Также на базе софта для немодерируемых тестов удобно проводить сравнение: мы можем соблюсти требование точного повторения задания, собрать квази-количественную выборку и сделать два теста с заданиями в разном порядке.

Приятное следствие повторяемости —шаблонные вопросы. Стараюсь их использовать, чтобы не бояться что-то забыть и не тратить время на придумывание велосипеда.

Бонус. Дополнительные возможности для оптимизации

Сбор ответов не требует участия исследователя.
Тепловую карту теста первого клика или распределения по закрытым вопросам можно брать в презентацию из автоматического отчета в интерфейсе (предварительно исключив всех читеров с помощью фильтра).
Все ответы респондентов агрегируются в одном месте. Их можно скачать в виде xls-таблицы. Половина протокола готова, нужно только прочитать и дополнить своими заметками. Но! Видео по заданиям всё-таки придется смотреть и самостоятельно делать по ним микро-протокол. Если выборка большая, на это лучше заложить достаточно времени.
Встроенный плеер с возможностью ускорять и замедлять видео, а также скачать.

Немодерируемый тест неплохо дополняет модерируемый. Например, можно изменить задания из сценария модерируемого теста, чтобы проверить отдельные гипотезы на дополнительных аудиториях.

Подводя итог

Удаленные немодерируемые тесты для самостоятельного заполнения респондентами позволяют тратить меньше ресурсов на сбор и анализ данных, если потратить достаточное время на подготовку инструментария (иногда большее, чем подготовка сценария для модерируемого теста). Я использую их для проверки целевых действий на разномастной аудитории и сравнительных тестов.