Смотреть нельзя слушать: что важнее при проведении UX-тестов
Что важнее при юзабилити-тестировании — слушать, что говорит респондент во время интервью, или наблюдать за его действиями? Стоит ли все, что вы услышали от пользователя, считать истиной и основой для дальнейших выводов и решений? Это вопросы, которые так или иначе встают перед UX-исследователями и определяют подход к анализу данных.
Меня зовут Диана Канивец, я старший специалист по исследованию пользовательских интерфейсов в «Лаборатории Касперского». В своей практике я долгое время совмещала проектирование интерфейсов и проведение UX-исследований, а теперь специализируюсь на UX-исследованиях для сложного B2B-направления. Предлагаю разобраться в непростой (а казалось бы!) теме: куда наблюдателю лучше направлять свое внимание во время юзабилити-тестов.
Цель любого UX-теста — получить качественные результаты для принятия дальнейших решений. То, насколько данные окажутся проработанными, повлияет на судьбы интерфейсов → продуктов → пользовательский опыт. Правило простое: невозможно получить качественные результаты исследования без эффективного наблюдения и интерпретации. Для простоты повествования под «наблюдением» мы будем понимать весь процесс познания, включающий получение знаний (восприятие разных потоков информации) и их интерпретацию.
Больше наблюдателей = объемнее картина происходящего
Наблюдение — это важнейший навык, который нужно в себе развивать, холить и лелеять. Серьезно, наблюдательность — это не само собой разумеющееся качество, это процесс мышления, которым нужно уметь управлять. Особенно если вы работаете над B2B-продуктом или у вашего проекта и пользователей есть определенная специфика — без симбиоза наблюдательности и понимания предметной области здесь не обойтись.
Всякий, присутствующий на юзабилити-тесте, — наблюдатель. В «Лаборатории Касперского» мы взяли за правило активно привлекать к проведению тестовых сессий продуктовых дизайнеров и менеджеров. В некоторых командах на тесты приходят аналитики и технические писатели — мы рады всем и всячески это поощряем.
Сейчас в нашей парадигме UX-исследователь — это на самом деле lead, который отвечает за развитие навыков наблюдения и интерпретации у всех присутствующих на тестах.
Во время тестовой сессии мы просим всех коллег фиксировать свои наблюдения, инсайты и находки в свободной форме, так, как им удобнее. По нашему опыту, наиболее комфортный формат — открыть в начале теста текстовый файл и вписывать в него все свои заметки, вести лог происходящего, не обращая особого внимания на пунктуацию и орфографию.
После теста мы созваниваемся с коллегами и устраиваем совместный рекап — встречу, на которой проговариваем и собираем все свои находки и инсайты в одном месте.
Его величество рекап
Пожалуй, самое интересное происходит во время таких вот встреч-рекапов. Интересное, потому что каждый из участников раскрывает свой мыслительный процесс.
Представьте себе густой красивый лес. Ботаник увидит в нем представителей растений разных видов, дровосек — шикарную древесину, а ребенок — пространство для игры и постройки шалашей.
Так и на рекапах. Наша профессиональная деформация влияет на наше восприятие. Продуктовые менеджеры прекрасно улавливают мотиваторы или блоки с точки зрения использования функционала того или иного решения или сервиса. Дизайнеры видят трудности навигации и взаимодействия в целом. Технические писатели подмечают проблемы с формулировками. Каждый смотрит под своим углом, высказывает интересные наблюдения, и вместе мы формируем общую объемную картину.
А что же делает UX-исследователь? Он помогает магии рекапа состояться: подмечает причинно-следственные связи и восполняет порой неосознаваемые пробелы. Вероятно, то, как UX-исследователь побуждает команду мыслить, достойно отдельной статьи.
Кстати, практику рекапов мы взяли на вооружение также при выполнении UX-исследований совместно с агентствами. Мы работаем в сфере информационной безопасности — у наших B2B-продуктов сложный и специфический функционал. Совместное обсуждение тестов с агентством позволяет собрать глубоко проработанный отчет о результатах. Агентствам, кстати, подобный подход также по душе, так как «снимать поверхностный слой результатов» никто не заинтересован — это как минимум скучно.
«Вы смотрите, но не наблюдаете, а это большая разница»
(Артур Конан Дойл, «Записки о Шерлоке Холмсе»)
Давайте признаем: смотреть и слушать — это пассивное состояние. В абстрактных терминах Даниэля Канемана (нобелевского лауреата, одного из основоположников поведенческой экономики и автора книг, которые учат не попадаться в когнитивные ловушки и делать правильный выбор) за «смотреть, слушать и делать скоропалительные выводы» отвечает Система 1. Она срабатывает автоматически и очень быстро, почти не требуя усилий и не давая ощущения намеренного контроля. Однако наблюдение — это процесс, который нуждается во включении Системы 2, требует сознательных умственных «затрат».
Однажды во время теста респондент рассказал нам, что ему нравится работать в темной теме. Он уточнил, что даже настроил свой файловый менеджер в темных тонах.
Мы бы могли закончить на этом и перейти к другим вопросам. Но решили продолжить беседу с респондентом, а он предложил продемонстрировать свои настройки. Спустя несколько секунд перед нами предстал тот самый файловый менеджер — действительно с темным фоном. Но названия папок были окрашены в ярко-желтый, названия выделенных папок — в ярко-синий, а к спискам применялась багровая чересполосица. Из соображений конфиденциальности мы не можем показать оригинальный скриншот, но выглядел он примерно как на картинке ниже.
Нужно понимать, что слова — это посредники в коммуникациях. Там, где возникают посредники, появляется вероятность искажения смыслов. Наверняка вы уже не раз видели эту нетленную классику UX:
Наблюдая за тестом, вы всегда можете доверять своим глазам. Вы можете доверять действиям респондентов. Действия — это факты. Однако к словам нужно относиться с осторожностью.
Мы, конечно, адвокаты пользователя, как мы сами себя называем, и, безусловно, должны прислушиваться к респонденту. Но в описанном выше примере мы увидели, что иногда респонденты говорят одно, а подразумевают другое. Обобщив наш опыт и наблюдения, мы пришли к следующим выводам.
Почему слова респондентов не всегда стоит воспринимать буквально.
- Часто респонденты просто не видят проблем, так как не понимают, что может быть лучше. Вы не представляете, сколько раз мы слышали фразу «У вас все хорошо, нам комфортно», «Если я посижу в программе 2–3 дня, я обязательно во всем разберусь!».
- Некоторые респонденты боятся показаться глупыми — стараются скрыть, что они что-то не поняли. Это здоровая самозащита человеческой психики.
- Иногда в респонденте может активироваться режим «тестера», и он пустится в рассуждения о гипотетических ситуациях. Это говорит о том, что между вами настроен хороший диалог, но потребуется некоторая сноровка, чтобы сфокусировать человека на действиях.
- Пример про темную тему показателен тем, что на практике доказывает: иногда респонденты говорят одно, а подразумевают другое.
- В конце концов, иногда на тестах происходит какая-то иррациональная ерунда — когда респондент явно запутался и вслух перебирает «соломинки», которые могли бы объяснить происходящее (ставьте лайк этой статье, если вы такое наблюдали).
Почему отсутствие комментариев не означает, что проблем нет
Юзабилити-тесты: когда к респонденту стоит особенно внимательно прислушаться
- Респондент не справляется с заданием и проговаривает свои ожидания — это прекрасная возможность понять пользовательскую цепочку рассуждений и определить барьеры.
- Респондент проговаривает, как понимает элемент интерфейса или текст — слушаем интерпретацию и сопоставляем со смыслом, который вкладывали дизайнеры или технические писатели.
- Респондент рассказывает конкретный кейс из своего личного опыта — слушаем более внимательно, так как это не абстрактные рассуждения, а пережитый опыт, здесь могут быть ценные факты.
Когда мы проверяем взаимодействие, то прежде всего смотрим на действия. Однако в других методах (например, интервью) роль «слушания» будет более значимой.
А что вы думаете про наблюдательность? Мы с удовольствием почитаем ваши UX-истории, наверняка у вас есть чем поделиться. Автор лучшего, на наш взгляд, комментария получит приз от «Лаборатории Касперского» :) [Мы будем рассматривать все комментарии, оставленные в течение недели с момента публикации статьи]
