М.Помощник: привязали нейросеть к чат-боту, чтобы быстро отвечать на вопросы сотрудников
Подключение нейросети для автоматизации любого сервиса поддержки — стандартная на сегодняшний день схема интеграции. Однако на практике оказывается, что не все так просто, как обещают поставщики решений, и у работы с искусственным интеллектом в саппорте есть свои нюансы. В этом посте мы рассказываем о том, как организована наша система поддержки сотрудников розницы и офиса, почему мы решили использовать API вместо токена, и какие результаты показывает нейросеть при анализе вопросов пользователей в свободной форме.
Начнем с цифр. У М.Видео и Эльдорадо суммарно 1000+ магазинов, в которых работают более 28 000 человек. И у каждого из них (а особенно у новичков) постоянно возникают вопросы, связанные с работой ПО, взаимодействием с ИТ-системами (торговые системы, различные модули SAP), кадровыми процедурами.
Раньше, чтобы спросить про отгулы нужно было идти к Ивану Ивановичу, про работу с бухгалтерией — к Петру Петровичу, про складское ПО — к Сидору Сидоровичу. Учитывая, что одни люди уходят и приходят другие, незнакомые с бизнес-процессами компании, потребность в ответах на стандартные и не только вопросы была и остается высокой. Именно поэтому мы решили создать единый сервис поддержки внутренних клиентов.
Нейросеть, найдись!
В самом начале нам нужно было найти готовое решение (нейросеть с возможностью обучения). Мы хотели выделить 3–4 человека, которые могли бы обеспечить коммуникацию с коллективом в 30 тысяч, постепенно наполнять базу знаний, отвечая на поступающие вопросы.
Многие внешние консультанты на наш запрос говорили: «Ребята, дайте нам таблицу с вопросами и ответами, и мы сделаем вам эффективного чат-бота». Но если бы все было так просто и у нас была готовая таблица… поэтому уже на этапе подготовки к этому проекту стало понятно, что нам придется собирать огромные массивы данных, очищать и обрабатывать их самостоятельно.
Из множества предложенных решений мы выбрали AutoFAQ. Нам понравилось, что извне система была интуитивно понятна, а также не требовала от операторов знания языков программирования или каких-либо команд. Благодаря этому оператор (сотрудник) мог сконцентрироваться на самом главном — наполнении баз знаний и ответах на вопросы сотрудников.
В качестве пилотного проекта мы подключили 20 магазинов, выделили 4 операторов и вывели виджет на внутреннем портале, на котором размещены инструкции и распоряжения.
В целом результаты были позитивными, мы начали создавать базу знаний. Но ребятам в магазинах оказалось неудобно задавать вопросы. Для этого нужно покинуть торговый зал, найти компьютер, открыть сайт, найти виджет, написать обращение и ждать, пока на него придёт ответ (в среднем 3–4 минуты, если запрос падает на оператора).
Чат-бот становится умнее
Как мы уже рассказывали в прошлом материале, сотрудники розницы М.Видео используют чат-бот для выдачи онлайн-заказов и получения внутренних коммуникаций. Поэтому мы взяли за основу уже существующее решение, интегрировали c AutoFAQ и превратили в полноценный инструмент двусторонней коммуникаций.
После подключения нейросети чат-бот стал работать следующим образом: после запроса от пользователя моментально запускается сессия диалога и происходит поиск ответов в базе знаний. Если вероятность верного ответа менее 80% (параметр настраиваемый), система переключает запрос на оператора бизнес-поддержки, а если выше — в момент выдает ответ из базы знаний.
У оператора есть свой интерфейс. Туда поступают вопросы, на которые системе не удалось найти точный ответ. Если вероятность подбора ответа не дотягивает до 80%, решение предлагает оператору минимум три варианта с максимальной точностью ответа.
При этом, если они не подходят, можно здесь же осуществить поиск ответа по словам синонимам, например. За счет выбора сотрудником поддержки ответа происходит дообучение нейросети.
В системе можно развивать базу знаний целиком, а можно разбить ее на любое количество сегментов. Мы пришли к выводу, что при тысячах вопросов и ответов в базе легко запутаться и прийти к хаосу. Поэтому разделили ее на 20 сегментов и распределили ответственность за их точность и чистоту между сотрудниками группы поддержки.
Мы получаем каждую неделю около двух тысяч вопросов от сотрудников розничных магазинов. Благодаря интеграции с нейросетью 43% из них закрываются автоматически, а 35% — за счет выбора правильного ответа оператором из вариантов, предложенных нейросетью. И только 22% требуют погружения оператора, изучения проблематики, поиска документации и подготовки ответа. Таким образом, мы тратим примерно в 4 раза меньше ресурсов и времени на подготовку ответов и увеличиваем скорость ответа на основную часть вопросов.
Полезно для аналитики и оптимизации
Помимо автоматизации поддержки у решения выявились дополнительные плюсы. Благодаря централизованной работе с вопросами мы стали быстрее выявлять «проблемные зоны». Например, если большая часть запросов происходит в области возвратов и обменов, это значит, что либо у нас очень сложные процессы, либо инструкции недостаточно понятны. В итоге мы получаем дополнительный повод для оптимизации, фактически собираем обратную связь от сотрудников.
Кроме этого, мы стали фиксировать, откуда сотрудники обращаются чаще, из каких магазинов, из каких регионов. Если из одной розничной точки поступает аномально большое количество вопросов, мы их выгружаем и анализируем.
Статистика, какие вопросы чаще задают, какие ответы чаще подходят, какие, наоборот, не подходят, помогает оптимизировать подход к организации базы знаний. Учитывая, что эти данные лежат на поверхности, можно постоянно работать над улучшением сервиса.
Технические нюансы
Теперь остановимся на вопросе интеграции. Сначала мы подключали нейросеть к чат-боту — просто добавили токен и соединили бота с сервисом AutoFAQ. Но это решение нам не подошло.
При соединении через токен номера заказов и инцидентов, другой информационный поток начинает поступать также в сервис нейросети (подробнее об этом здесь).
Напомним, что М.Помощник построен на системе автоматизации выдачи онлайн-заказов в магазинах М.Видео, которая через чат-бот распределяет выдачу заказов среди работников торгового зала. Система пытается реагировать на номера заказов и прочие рабочие сообщения — запрос на выдачу онлайн-заказа с номером падает на сотрудника поддержки, но это не запрос от пользователя, а просто номер заказа клиента, который нужно выдать в магазине.
В результате интеграция была настроена через API. Мы установили фильтры, отсекли внутренние команды и сообщения, чтобы в нейросеть поступали только вопросы от сотрудников.
Более того, когда человек обращается в службу поддержки, мы сразу же подтягиваем его данные — фамилию, имя, табельный номер, в каком магазине работает, какова его роль. Это помогает операторам подобрать правильные ответы.
Сейчас мы разрабатываем единый кабинет для М.Видео и Эльдорадо. Нужно, чтобы нейросеть понимала, из какого бренда (М.Видео или Эльдорадо) пришел пользователь, и, исходя из этого, выдавала автоматический ответ. Процессы по брендам различные, следовательно и ответы на многие вопросы отличаются.
Вопросы точности
Изначально можно подумать, что система будет самостоятельно обучаться, накапливать экспертизу и работать. Но на практике все намного сложнее: вспомните алгоритм Amazon, который пришел к выводу, что на работу нужно брать только мужчин и был отключен. Поэтому за актуальностью данных нужно пристально следить, чтобы нейросеть не «распоясалась».
В нашем случае потребность в контроле объясняется целым рядом факторов. Например, в М.Видео и Эльдорадо регулярно проходят акции, информация по которым актуальна только небольшой период времени. Поэтому в базе знаний нужно создавать документ со сроком жизни, чтобы после окончания инициативы соответствующие вопросы и ответы переходили в статус черновика и больше не использовались.
Нейросеть поддерживает автоматическое дообучение, но мы специально ограничили эту возможность. Дело в том. что новые сотрудники не знают уже принятых терминов, начинают задавать вопросы общими словами. А обилие таких вопросов в базе знаний приводит к ее замусориванию. Поэтому мы вручную проверяем формулировки и документы, и только после этого добавляем данные в систему.
В дополнение к этому пользователи сами помогают нам следить за актуальностью ответов. Сотрудник может нажать на кнопку «ответ не подходит». При этом запрос не только автоматически перебрасывается на оператора — мы также сразу разбираемся, что не так, какие данные не актуальны.
Каких результатов стоит ожидать?
На этапе, когда вы думаете о подключении нейросети, каждый второй поставщик будет говорить, что «у вас через 2 месяца будет 70%, а через год 90% ответов ботом». Но если бизнес-процессы в компании не статичны, по нашим оценкам, результат не будет больше 60%. Вообще, постоянное обновление систем и изменение процессов в крупной компании ограничивает максимально возможный порог автоматических ответов в 45–50%.
Наш опыт показал, что качество распознавания ответов не зависит от количества сотрудников, ведь в сущности все задают одни и те же вопросы. Важную роль скорее играют процессы и их изменения. Так, мы получили хорошие результаты, когда началась пандемия, и каждый человек спрашивал о новой практике работы. У нейросети уже были на них ответы, и службе поддержки удалось намного легче отработать просто огромный поток сообщений.
Кроме этого, через новый сервис мы собираем данные по техническим сбоям, корректируем программы мотивации, актуализируем инструкции, улучшаем процессы, обмениваемся информацией с другими подразделениями компании.
Работая с нейросетью мы пришли к выводу, что главная ценность интерактивного чат-бота не в том, насколько много ответов дал бот самостоятельно, а скорее в появлении единого окна, через которое можно коммуницировать с сотрудниками в таких крупных компаниях.
