Как я протестировала интерфейс голосового ассистента Сбер Салют
Голосовые ассистенты незаметно вошли в нашу жизнь с появлением умной колонки Алисы. Многие известные финтех компании внедряют голосовых помощников в свои продукты, так что теперь при использовании мобильных приложений пользователь вынужден привыкать к мультимодальным интерфейсам. Но несмотря на их возрастающую популярность голосовые помощники требуют серьёзных доработок.
У меня как UX-адепта возникает череда вопросов, требующих изучения. Насколько просто использовать голосового помощника в мультимодальном интерфейсе? По какому пути проходит типичный пользователь, используя приложение с голосовым ассистентом? Насколько ему комфортно и просто общаться с голосовым ассистентом, решая свою задачу? Чтобы найти ответы на эти вопросы, я провела модерируемое юзабилити тестирование мобильного приложения Салют.
Приложение Сбер Салют. Начальный экран
Исходные данные
Для быстрого рекрута респондентов я запустила анкету-скриннер в нескольких телеграм-чатах и попросила друзей пошарить анкету через их каналы. Для тестирования были подобраны респонденты по следующим критериям:
возраст: 20–55 лет
люди, имеющие опыт взаимодействия с любым голосовым помощником или люди, интересующиеся виртуальными ассистентами
пользователи Android (т.к. проводим тестирование на этой платформе, человеку должны быть привычны визуальные паттерны платформы)
В тестировании приняли участие трое женщин и трое мужчин, что позволило соблюсти правило равномерной выборки и минимально допустимого числа респондентов для юзабилити тестирования.
Подготовка к тестированию
Следуя канонам юзабилити тестирования я составила список заданий и гипотезы для тестирования. Предметом моего исследования в приложении Салют стал раздел «Заказ продуктов». Основная цель исследования состояла в том, чтобы выявить проблемы в основном и краевых сценариях при заказе продуктов и предложить рекомендации по улучшению мультимодального интерфейса. Дополнительная задача — фиксация работающих и неработающих вариаций голосовых команд, озвученных респондентами для решения поставленной задачи, чтобы научить ассистента понимать частотные команды.
Тестирование. Основной сценарий
Узнав минимальные исходные данные от респондентов (опыт взаимодействия с голосовыми ассистентами, контекст использования) я перешла к проверке гипотез, озвучивая задания и описывая контекст. При проведении модерируемых юзабилити тестов крайне важно «поместить» пользователя в соответствующий контекст, как если бы человек взаимодействовал с приложением в реальных условиях, решая реальную задачу. В нашем случае первое задание звучало так: «Вы решили купить яблоки для шарлотки. Как вы выполните эту задачу в приложении Салют, пользуясь голосовым ассистентом?». На начальном этапе есть интересные инсайты. 2 из 6 респондентов не выполнили задание с первого раза, т.к. они проговаривали голосовую команду без нажатия на светящийся шар Салют. Гипотеза подтвердилась, пользователь не сразу привыкает к постоянному нажатию на кнопку для вызова ассистента. Далее пользователи переходили на экран с ассортиментом яблок через голосовые команды
«яблоки» ✓
«выбери отсюда яблоки» ✓
«мне нужны яблоки» ✓
Затем пользователи выбирали товар понравившегося бренда. 4 из 6 человек выполнили задачу с помощью голосового ассистента, используя одну из этих голосовых команд
«яблоки голден нфк в лотке 500 г» ✓
«надо заказать яблоки богатырь 500 г» ✓
«купить яблоки нфк 500 г» ✓
Один респондент не выполнил задание с первого раза, т.к. голосовой ассистент не распознал его команду «положи в корзину яблоки голден нфк в лотке 500 г» ×
Теперь задача пользователя — убедиться, что все товары успешно добавлены и завершить оформление заказа. 3 из 6 человек перешли в корзину с заказом с первого раза с помощью голосового ассистента, используя команды
«в корзину» ✓ «корзина» ✓
«оформить заказ» ✓
2 респондента не смогли перейти в корзину с первого раза, используя неработающую команду «заказ» ×, которая перенаправляет пользователя в историю заказов, а не в существующий в корзине заказ.
Здесь ошибка средней критичности! Пользователь отклоняется от сценария. Приходится выполнять лишние клики, чтобы вернуться к собранному заказу. Рекомендация: проверить ожидания пользователей от голосовой команды «заказ». Если статистически значимое число пользователей ассоциирует команду «заказ» с текущим заказом, необходимо поменять сценарий реагирования Салюта на эту команду.
Приложение Сбер Салют. Карточка оформления заказа
Далее задача пользователя: завершить оформление заказа. При этом, я описала нетипичный контекст оформления заказа. «Сейчас вы покупаете яблоки не из Питера, а из Москвы (вы уехали к родственникам на майские), т.е. сохранённый в приложении адрес сейчас не актуален для нового заказа. Итак, выполните задание.» На данном этапе 6 из 6 пользователей пытались определить свой актуальный адрес геолокации с помощью голосовой команды «адрес доставки». Но голосовой ассистент не реагирует на эту команду на экране с заказом, а только на экране с карточками товаров. Наблюдаются сложности с изменением геолокации при смене города.
Ошибка высокой критичности! Пользователь не может выполнить задачу с первого раза. Невозможность оформления заказа при смене города может привести к жалобам пользователей и обращениям в контактный центр, это критично.
Необходимо добавить возможность изменения адреса доставки из карточки заказа.
Тестирование. Краевые сценарии
В приложении Салют в рамках раздела «заказ продуктов» я также протестировала краевые сценарии.
Краевой сценарий 1. Возвращаем пользователя в контекст: «Итак, представим, что вы выбрали уже яблоки для шарлотки в этом заказе. Но теперь вы вспомнили, что к вам обещали зайти друзья, а значит вам нужно ещё три упаковки яблок того же сорта. Выполните задачу, используя голосовой ассистент». Моя гипотеза о том, что пользователь не сможет добавить сразу несколько упаковок товара подтверждается. Только 2 из 6 пользователей успешно выполняют задание с первого раза, используя голосовую команду
«мне нужно 3 упаковки яблок нфк россия» ✓
Неработающие голосовые команды:
«повторить заказ яблоки голден нфк 500 г» ×
«положить в корзину яблоки голден нфк 500 г 3 шт» ×
Краевой сценарий 2. Описываем контекст для пользователя: «Вы ожидали, что к вам приедут сегодня друзья, поэтому вы добавили в заказ много яблок для шарлотки. Но только что вам позвонили друзья и предупредили, что отменяют встречу. Вы решили оставить в корзине только 3 упаковки, а не 4. Выполните задачу.» 4 из 6 человек выполнили задание с первого раза, произнеся команду
«удалить одну упаковку яблок нфк россия» ✓
Гипотеза в отношении используемой голосовой команды подтвердилась. 2 респондента не выполнили задачу с первого раза, используя команду
«яблок нфк россия минус 1» ×
Ошибка средней критичности! На фразе »(название товара) минус 1» ассистент добавляет, а не удаляет товар. Выполнение сценария замедляется, пользователь отклоняется от сценария, т.к. ему приходится вручную удалять лишний товар из корзины.
Рекомендация: проверить ожидания пользователей от голосовой команды »(название товара) минус 1». Если статистически значимое число пользователей ассоциирует фразу «минус 1» с удалением товара из корзины, необходимо поменять сценарий реагирования Салюта на эту команду.
Резюмируем выводы и инсайты. В ходе юзабилити тестирования была обнаружена одна критическая ошибка в виде невозможности смены города в карточке заказа, а также две ошибки средней критичности при несовпадении ожиданий пользователя с реакциями ассистента на голосовые команды «заказ»,»(наименование товара) минус 1».
Были зафиксированы различные вариации голосовых команд от респондентов: не распознанные ассистентом команды, а также команды, которые вызывали неожиданную реакцию ассистента. Такие команды необходимо проверить на дополнительном исследовании и при необходимости обучить голосовой ассистент правильно распознавать их.
Кроме того, общее впечатление по поведению всех респондентов говорит о том, что сейчас приложение может работать полноценно только в мультимодальном режиме. Пользователь не может взаимодействовать с некоторыми отдельными экранами исключительно с помощью голосового ассистента.
