[Из песочницы] Влияют ли наблюдатели на результаты юзабилити-тестирования?
Перевод статьи Джеффа Сауро из MeasuringU.
Многие знакомы с Хоторнским эффектом, испытывая который люди ведут себя по-другому, будучи под наблюдением.
Этот эффект получил имя, когда исследователи обнаружили, что рабочие на Хоторнской фабрике выполняли свою работу лучше не из-за улучшения освещения, как им казалось, а потому что находились под наблюдением.
Этот эффект работает не только на людях, но также и на частицах. В физике стороннее наблюдение за явлением (например, движением субатомных частиц) меняет результат.
Эффект наблюдателя
Хотя до сих пор остаются некоторые вопросы о подробностях Хоторнского эксперимента и том факте, что люди не являются субатомными частицами, существуют убедительные доказательства из других источников, что люди склонны вести себя по-другому при стороннем наблюдении.
Эффект «Белого халата» показал, что кровяное давление пациента повышается от психологического воздействия при посещении доктора (кто любит ходить к доктору?). Эффект также изменяется в зависимости от пола наблюдателя и участника тестирования. Исследование показало, что, например, женщины физиологически восприимчивы к не принятию обществом, в то время как мужчины более чувствительны к проблемам на пути к достижению целей.
Интересно то, что поведение не всегда последовательно. Существуют некоторые доказательства того, что когда люди выполняют простые задачи, их эффективность склонна повышаться во время наблюдения за ними. И наоборот: эффективность снижается, когда задачи сложные и менее знакомые.
Как пример, эффективность опытных игроков в бильярд увеличивается, когда за ними наблюдают, в то время как эффективность неопытных игроков в таком случае падает. Этот эффект также отражается на некоторых наших любимых насекомых. Тараканы, будучи под наблюдением своих сородичей, способны пройти простой лабиринт быстрее, но испытывают трудности при прохождении сложных лабиринтов.
Эффект наблюдателя в юзабилити-тестировании
Поскольку большинство из нас не особо заинтересованы игрой в бильярд и проведением тараканьих бегов, речь пойдёт о юзабилити-тестировании, в основе которого лежит наблюдение за поведением его участников. Мы используем как оборудование для наблюдения (видеозапись экрана и лица респондента, звукозапись), так и физическое наблюдение модератором и зачастую другими наблюдателями, находящимися на расстоянии или в непосредственной близости. Влияет ли это наблюдение на результаты тестирования? Если да, то как? Существует несколько исследований, которые проливают свет на этот вопрос.
Наблюдение влияет на уровень ошибок
В 2005 году Harris et al. поставили 100 студентам простые и сложные задачи в Microsoft Word. Участники были разделены на 4 группы с разными условиями:
- Группа с модератором: модератор сидит позади участника.
- Группа без модератора: в комнате нет модератора, но участнику известно, что его записывают.
- Группа с модератором + напоминания: модератор сидит рядом с участником и регулярно напоминает ему, что за ним наблюдают и записывают.
- Модератор + команда дизайнеров: участник представлен команде дизайнеров, которые наблюдают за ним на экране в отдельной комнате.
Исследователи обнаружили разницу в уровне ошибок между этими группами, но не выявили ясной закономерности. В несколько озадачивающих результатах, они обнаружили, группа без модератора (2) и группа с модератором и напоминаниями (3) допустили значительно меньше ошибок, чем другие две группы (1 и 4).
Оборудование для наблюдения усиливает стресс
В другом исследовании, проводимым Grubaugh at al. в 2005 году, изучалось влияние оборудования для наблюдения. 150 студентам университета была поставлена задача в программе Microsoft OneNote. Студенты были разделены на 3 группы, где каждая группа была оснащена разным набором оборудования для наблюдения:
- Строгое наблюдение: участник окружён камерами на триподах, ведётся звукозапись.
- Классическая юзабилити-лаборатория: зеркало Гезелла (одностороннее зеркало), незаметные видеокамеры и звукозапись.
- Упрощённая лаборатория: без зеркала, окон и любого видимого записывающего устройства.
Исследование показало более высокий уровень ошибок в случае со строгим наблюдением (группа 1) по сравнению с упрощённой лабораторией (группа 3).
Наблюдение влияет на частоту сердечного ритма и юзабилити-метрики (иногда)
В 2009 году Sonderegger & Sauer поставили 60 респондентам задачи на прототипах мобильного телефона, поделив респондентов на 3 группы:
- Модератор с двумя наблюдателями в одной комнате с участником.
- Один наблюдатель в комнате с участником (классический юзабилити-тест).
- Участник в комнате с оборудованием для наблюдения (без модератора и наблюдателей).
Примерно так же, как и в психологическом эксперименте на Хоторнской фабрике в 1950-х, исследователи использовали проводные устройства отслеживания изменения частоты сердечного ритма участников (мера стресса). Также они определяли значения нескольких юзабилити-метрик (лёгкость восприятия, выполнение задания, время выполнения, привлекательность интерфейса и эмоции участника).
Они определили, что присутствие двух дополнительных наблюдателей (мужчины и женщины) оказало негативное влияние на участников:
- Высокий уровень стресса (снижение вариабельности сердечного ритма)
- Низкие показатели завершения задачи
- Большое время решения задачи
- Менее позитивное эмоциональное воздействие
У участников не было обнаружено различий в показателях воспринимаемого юзабилити (с использованием PSSUQ) и привлекательности интерфейса.
В 2014 году Uebelbacher задал 80-и участникам решить простые и сложные задачи в прототипе мобильного приложения для туристов и в реальном приложении на iPhone 3. Участники были разделены на 2 группы с разными условиями:
- Без модератора и наблюдателей в комнате
- С модератором и двумя наблюдателями в комнате (мужчиной и женщиной).
Не было обнаружено никаких различий в показателях выполнения задач, времени выполнения, лёгкости восприятия и эмоциональных показателях. Однако, была обнаружена разница в частоте сердечного ритма. Исследователи не смогли воспроизвести результаты Sonderegger & Sauer, но показали, что вариабельность сердечного ритма является чувствительной мерой стресса. Они отметили:
«Когда наблюдатели присутствовали, происходило гораздо более сильное увеличение средней частоты сердечных сокращений от этапа покоя до этапа завершения задачи (+ 5,4 м.д.), чем когда участники работали самостоятельно».
Uebelbacher дополнительно отметили, что наблюдаемые участники сообщали о том, что наблюдение их беспокоит, но это в меньшей степени относится к старшим участникам, которые чувствовали себя менее наблюдаемыми, чем участники моложе (потенциальный эффект возраста).
Выводы
- Тип и количество наблюдателей, вероятно, оказывают некоторый эффект на физиологию участника тестирования (например, на частоту сердечного ритма).
- Поскольку повышение частоты сердечного ритма может говорить о повышении стресса, неясно, в какой степени частота сердечных сокращений влияет на данные о юзабилити.
- Вероятно, участники могут проявлять высокую работоспособность в одних заданиях и низкую в других, но необходимо провести больше исследований для подтверждения этого эффекта.
- Требуется проведение дополнительного исследования для выяснения того, как возраст и пол участников и наблюдателей смягчают эффект наблюдателя.
- Чем больше видимого оборудования для наблюдения, тем, вероятно, выше уровень стресса участников, что потенциально влияет на их производительность (например, уровень ошибок).
- При подготовке юзабилити-лаборатории постарайтесь свести к минимуму заметность и навязчивость оборудования для наблюдения.
- В тестах должны быть наблюдатели, которые не взаимодействуют с участником напрямую, но наблюдают на ним из другой комнаты или дистанционно. В наших юзабилити-тестах клиенты наблюдают за участниками из отдельной комнаты или дистанционно через GoTo Meeting или стрим YouTube.
- Убедитесь, что ваши модераторы и наблюдатели не одеты в белые лабораторные халаты :)
