PayPal под капотом: AI-модель для определения тональности и тегирования обращений от пользователей
Описанная в этой статье AI-модель помогла удовлетворить все требования регулятора и продолжить работу на рынке UK для крупнейшего fintech PayPal. Данное решение универсально и подходит для банков и других сервисов, где быстрая и эффективная обработка обращений клиентов и оптимизации службы поддержки — ключевой аспект финансового благополучия компании.
Модель на основе ИИ создана для определения тональности обращений и тегирования сообщений от пользователей:
Она автоматически распознает тему запроса в службу поддержки и контекст диалога с оператором по всем используемым каналам коммуникации (включая live-chat, email и звонки),
Передает информацию о наличии претензии в запросе соответствующему сотруднику,
Если решение вопроса затягивается, то система готовит краткое описание (summary) вопроса для передачи его другому специалисту.
У нас было: более 5000 диалогов, 3,5 месяца на разработку и несколько агентов поддержки. А теперь подробнее про решение!
Исходные данные и задача:
В компании несколько тысяч сотрудников в отделе службы поддержки клиентов, данные об обращениях поступают из различных каналов:
электронной почты,
телефонных звонков,
чат на сайте.
Огромный объем информации, подпадающей под строгие условия NDA, хранится на отдельном сервере. Система обработки звонков представлена транскрибацией, преобразованной из речи в текст с использованием text-to-speech технологии. То есть, все предоставленные обращения в конечном виде представляю собой текст.
За один диалог с пользователем может разговаривать несколько операторов, диалог может быть разорван или поддерживаться по нескольким каналам: сначала человек мог начать общаться через чат, а потом позвонить по телефону и закончить письмом на мейл.
Обученная AI модель должна автоматически распознавать категорию претензии в запросе, маркировать ее соответствующим образом и пересылать регулятору в течении 2 часов. Также она должна формировать краткое описание (саммари) для передачи другому специалисту.
На кону большие штрафы для PayPal!
Решение
За 3,5 месяца (а это фантастически мало для решения задач такого характера) командой flexitech.ai было разработано и внедрено решение, которое не только соответствовало высоким стандартам регулятора в определенном регионе (в данном случае, UK), но и обеспечивало эффективное продолжение работы на рынке.
Предоставленные нам данные не размечены и их много. Их все равно надо обработать, для того, чтобы после на них можно было обучить модель (какая бы она не была). И для этой цели мы задействовали помощь агентов поддержки. Вручную они промаркировали более 5000 диалогов на предмет наличия в нем претензии. На это мы потратили около 2 недель. Полученных данных немного, но достаточно, чтобы протестировать разные типы AI решений.
Сценарий первый. TF-IDF и SVM (26% точности):
В попытке первичной обработки данных был выбран метод TF-IDF (Term Frequency-Inverse Document Frequency) для векторизации текста, при котором каждому слову присваивается вес в зависимости от частоты его встречаемости в документах. Однако точность этого метода оказалась недостаточной — менее 30%. После векторизации текста использовался метод машинного обучения SVM (Support Vector Machines) для классификации, но и так не получилось достичь целевой метрики.
Сценарий второй. Fasttext и SVM (67% точности):
Для повышения эффективности был предпринят шаг к использованию Fasttext и SVM. Fasttext, разработанный Facebook, основан на более глубоком анализе слов, а не предложений, что позволяет учесть более тонкие нюансы. SVM, в свою очередь, применялся для классификации на основе обученных векторов Fasttext. Такой подход, работая на уровне слов и нграмм, позволил улучшить точность модели до 67%.
Not bad! Пробуем дальше
Идеальное Решение: ULMFIT на словах (81% точности):
Наконец, для достижения оптимальных результатов был использован метод ULMFIT. Эта универсальная языковая модель предоставляет глубокие знания о контексте слов и предшествует более известной модели GPT. ULMFIT обучалась на всем объеме диалогов, приведя к выдающейся точности в 81%. Этот подход позволил адаптировать модель для синтеза саммари по диалогам, что оказалось весьма полезным в процессе передачи информации между специалистами.
Разработанная AI-модель успешно решает сложные задачи обработки обращений, определяя их тональность и теги. Ее эффективность подтверждена на практике в условиях крупнейших финансовых организаций, где быстрота и точность обработки обращений — залог успешной работы и соответствия высоким стандартам регуляторов
Интересно, какие решения актуальны для вашего типа бизнеса? В чат боте FlexiTach.ai вы найдете 115 AI решений для 9 отраслей, которые уже приносят прибыль компаниям
