Как обрабатывать фидбек при помощи искусственного интеллекта
Мы в UX Feedback уже несколько лет занимаемся развитием ИИ-инструмента для работы с обратной связью. Это касается непосредственно этапа обработки фидбека, как самой «благодатной» для ИИ стадии в методологии Voice of the Customer. В общем-то, процесс несложный, но весьма трудоемкий. Исследователям порой приходится обрабатывать тысячи комментариев, что отнимает много времени и ресурсов. И вот тут на помощь, как раз, может прийти ИИ. Как это работает, и какие особенности связаны с ИИ-тегированием, расскажем в этой статье, основываясь на опыте экспертов UX Feedback.
Вика Макеева, Product Manager UX Feedback:
«Часто исследователи запускают сразу несколько кампаний по сбору фидбека в разных кусочках продукта. Всю эту обратную связь потом надо как-то обрабатывать. Сейчас у нас в продукте есть такая функция как ручное тегирование, либо тегирование с помощью правил. Тут все просто: читаешь комментарий, а потом присваиваешь ему тег, либо тематику. Есть еще второй вариант, ― раздел "Правила", где можно использовать регулярные выражения. Если пользователь оставил в виджете определенный заданный набор слов или словосочетаний, то в этом случае ему присваивается конкретный тег».
Однако есть нюанс. Ручное тегирование ― это долго, но очень точно, так как человек обрабатывает каждый комментарий сам. Правила ― это сложно, потому что необходимо разобраться в регулярных выражениях. Тут, по нашему опыту, нередко требуется помощь Customer Success. Еще один проблемный момент, ― какие-то комментарии могут быть пропущены, если нет определенного слова в регулярных выражениях. Соответственно, в случае если тег не присваивается, то это нужно делать вручную, а затем дорабатывать правила.
Адель Дукаева, BDM UX Feedback:
«Обработка ― это один из самых трудоемких этапов в работе с фидбеком. Разметить обратную связь несложно, но это большая задача, под которую нужны люди. Однако все инструменты, которые есть сейчас на рынке не исключают ручной труд. Получается, что чем больше компания собирает фидбека, и чем качественнее она хочет с ним работать, тем больше нужно ресурсов. Представьте, что вы работаете над чем-то и вам нужна обратная связь в моменте. Вот вы собрали несколько тысяч единиц фидбека и вам нужно обработать его прямо сейчас, иначе данные устареют. Для этого понадобится собрать команду и несколько дней не спать, чтобы быстро все категоризировать».
В случае же с ИИ этой разметкой занимается не человек и не правила, которые поддерживает тоже человек.
Вика:
«В нашем случае мы используем OpenAI, на котором работает ChatGPT. Как это работает? Мы выгрузили 10 тысяч комментариев из нашего личного кабинета, вручную проставили им теги и дальше "скормили" это ИИ с запросом, чтобы он научился обрабатывать фидбек по правилам, которые там прописаны. Соответственно, ИИ изучает комментарий, далее изучает присвоенный тег и начинает искать закономерности и паттерны. Все это он самостоятельно разбирает и анализирует, а дальше ему уже можно давать все новые комментарии без тегов. ИИ, на основе полученных знаний, начинает автоматически присваивать теги обратной связи».
Пример того, как выглядят ИИ-теги в ЛК UX Feedback.
У ИИ-категоризации большой потенциал: она снимает огромный объем ручной работы с исследователя. Часто мы видим, что разметку фидбека даже отдают на аутсорс, потому что это очень много монотонной работы. ИИ же значительно ускоряет процесс обработки и можно быстрее перейти на этап анализа. Тут еще есть один важный момент. Правила распознают фидбек только с точки зрения набора символов, которые должны совпадать с тем, что написано в регулярных выражениях. ИИ же воспринимает контекст, то есть он понимает, о чем именно комментарий.
Также ИИ может различать тональность, например, определять позитивный и негативный фидбек. Это помогает быстрее увидеть, что именно болит больше всего и начать с этим разбираться.
Адель:
«С ручным тегированием, например через регулярные выражения, связана еще одна проблема ― субъективность. Например, у нас есть комментарий: «Не могу оформить доставку онлайн». Один исследователь отнес его к категории «Оформление заказа», а второй посчитал, что его нужно протегировать «Доставкой». И тут оба могут быть правы, потому что нет какой-то единой схемы размечивания обратной связи. Так что некоторая субъективность всегда будет присутствовать. Даже в регулярных выражениях. Ведь они тоже настраиваются человеком.
И вот тут на сцену выходит ИИ, который может взять этот несложный, но большой по объему этап, на себя. Уже сейчас в нашем продукте мы пришли к тому, что точность ИИ-тегирования выше 80%, и эта цифра продолжает расти. То есть, уже в первой итерации мы получили довольно впечатляющий результат».
Проблемные моменты ИИ-категоризации
Очень легко объяснить, как работает правило: человек составил регулярное выражение и понимает, что туда входит и как это функционирует. А вот как работает ИИ «под капотом», очень сложно объяснить простыми словами. Он, по каким-то своим внутренним алгоритмам, определяет закономерности, поэтому есть недоверие и желание перепроверить, а действительно ли он правильно протегировал.
Второй момент ― процесс обучения. То, что специалисты обучили ИИ один раз, это не значит, что он не будет ошибаться. Соответственно, искусственный интеллект необходимо регулярно дообучать, чтобы получать более точные результаты.
Вика:
«Кроме того, чтобы использовать ИИ в продукте и автоматически тегировать фидбек, нужны ресурсы. Во-первых, большой объем данных для обучения, который изначально обработан вручную. В UX Feedback этим занимаются отдельные люди из команды продукта. Также они «тренируют» ИИ, чтобы он становился лучше. И это вторая проблема: нужны те, кто будут непосредственно работать над этим».
Еще ИИ не умеет сам определять тематики фидбека, ― ему необходимо задать уже готовый список тегов. Например, мы в UX Feedback создали собственное универсальное дерево тегов из 18 общих тематик, которыми оперирует ИИ при категоризации обратной связи. Это своего рода верхнеуровневая сегментация с возможностью встроить в процесс все необходимые подтемы.
Адель:
«Из проблемных моментов можно отметить то, что пользователям не хватает глубины. Например, в регулярных выражениях можно прописать тег с несколькими уровнями вложенности, скажем: «Доставка - курьеры - Москва». ИИ пока так не умеет».
Впрочем, несмотря на все обозначенные сложности, мы в UX Feedback продолжаем развивать этот функционал, чтобы снять с исследователей большой объем задач по обработке обратной связи. Это позволит сконцентрироваться на этапе анализа и поиске инсайтов, чтобы еще лучше понимать клиентов и принимать точные бизнес-решения.
