Ada использует GPT‑4 для установления нового стандарта клиентского сервиса05.09.2024 08:00

Ada стимулирует переход на рынке⁠ клиентского сервиса объемом 100 млрд долларов, и на передовой этого процесса находится их платформа автоматизации клиентской поддержки на базе искусственного интеллекта. Основанная в 2016 году, компания Ada⁠ оценивается в 1,2 млрд долларов при общем объеме финансирования в 200 млн долларов; среди ее клиентов — Verizon, YETI, Canva и Square.

Ada не новичок в сфере ИИ — они создали ИИ-платформу с момента своего основания. Первое поколение продукта было построено на базе собственных моделей обработки естественного языка (NLP), разработанных и обученных силами компании. Однако специалисты заметили разрыв между тем, сколько вопросов клиентов могла обработать платформа и сколько запросов действительно решалось удовлетворительным образом.

«Мы были очень воодушевлены OpenAI и тем, что происходило в индустрии. В 2022 году мы решили пойти ва-банк и пересоздать продукт, используя возможности рассуждения больших языковых моделей (LLM)».

Разработка новой метрики клиентского сервиса: коэффициент успешного решения

Стандартная для индустрии метрика клиентского сервиса — коэффициент удержания (containment rate) — измеряет количество клиентских запросов, которые полностью обрабатываются чат-ботом и никогда не доходят до живого оператора. Если вы увеличиваете коэффициент удержания, то теоретически снижаете операционные расходы на поддержку. Но команда Ada увидела проблему в этой метрике.

«Многие решения, включая Ada, легко обеспечивали уровень удержания в 80–100%, но если вы действительно открывали стенограммы этих разговоров и читали о том, с чем столкнулись клиенты, опыт взаимодействия оказывался весьма скверным», — отметил Гоццо.

Сосредоточив свои усилия на том, насколько успешно проблемы действительно разрешались в ходе диалогов, команда Ada поняла, что они могут задать новый стандарт в индустрии клиентского обслуживания.

Изначально используя GPT‑4 в сочетании со своими историческими данными, Ada создала новую систему оценки, способную анализировать разговоры на предмет того, насколько успешно они были разрешены автоматически. Система Ada оценивает каждый диалог в зависимости от того, насколько качественно клиенты получают релевантные, точные и безопасные ответы — без вмешательства человека. «В ходе тестирования наша система достигала 80–90% совпадения с оценкой человека, читавшего диалог», — сказал Гоццо.

Боевое тестирование моделей и выбор OpenAI

Поняв показатель успешности решения, компания Ada получила ориентир для своего продукта. Помимо использования API OpenAI для оценки, они решили сотрудничать с OpenAI при создании нового поколения своего ИИ-агента.

Ранее Ada уже использовала модели OpenAI, в основном для генерации обучающих данных для собственных NLP-моделей. Оценивая API OpenAI в новых сценариях использования, в Ada выделили несколько ключевых преимуществ:

• Качество инференса: Ada создала синтетическую тестовую среду, которая имитирует сотни тысяч конечных клиентов, общающихся с их системой, что позволяет проводить стресс-тестирование моделей на масштабируемость и качество. «Мы регулярно оцениваем каждую крупную модель в течение нескольких недель после ее выпуска, и пока ни одна из них не превзошла OpenAI на нашем тестовом наборе», — сказал Гоццо.
• Задержка (Latency): Для обеспечения наилучшей производительности голосовых сценариев Ada критически важны модели с низкой задержкой. «Для рассуждений в реальном времени мы увидели большой скачок в производительности и общем качестве благодаря GPT‑4o», — отметил Гоццо.
• Тонкая настройка (Fine-tuning): Ada использует API тонкой настройки OpenAI для получения оценки уверенности в уровне галлюцинаций в конкретном ответе и использует этот показатель в остальной цепочке инструментов для минимизации галлюцинаций в системе. «Мы также воодушевлены перспективой со временем использовать тонкую настройку для дальнейшего улучшения способности нашей системы к рассуждениям, а также потенциалом этого метода, позволяющего меньшим, более дешевым моделям имитировать производительность передовых моделей», — добавил Гоццо.

Удвоение показателей успешного решения с помощью OpenAI

Сегодня ИИ-агент Ada использует многоагентную конфигурацию, включающую центрального агента-планировщика и набор субагентов, работающих на базе API OpenAI. «Всякий раз, когда вы общаетесь с бизнесом, использующим Ada, ваш вопрос проходит через множество этапов работы моделей OpenAI: осмысление, анализ, вызов инструментов и привлечение базы знаний до тех пор, пока не будет сформирован ответ», — пояснил Гоццо.

Предыдущая версия продукта Ada имела коэффициент удержания 70% при коэффициенте успешного решения всего в 30%. У клиентов, переведенных на новую систему, показатели удержания остались прежними, однако уровень успешного решения обычно достигает 60%, а у наиболее эффективных клиентов превышает 80%.

«Перейдя от одной технологии к другой, мы удвоили количество диалогов, которые можем автоматически и качественно разрешить», — подчеркнул Гоццо. Для клиентов Ada эта метрика оказывает огромное влияние на окупаемость инвестиций (ROI), включая экономию эквивалентов полной занятости (FTE), удовлетворенность клиентов, удержание и новые регистрации.

100-процентное разрешение запросов достижимо с помощью ИИ

Ada настолько уверена в своей способности разрешать клиентские запросы, что нацелилась на 100-процентный показатель успешного решения — то, что еще несколько лет назад казалось бы фантастикой. «Теперь 100-процентное разрешение — это вопрос времени, а не возможности», — заявил Гоццо.

Рынок также изменился: Ada больше не сталкивается с сильным скептицизмом, когда речь заходит об автоматическом решении проблем. «Предприятия становятся все более подкованными, — говорит Гоццо. — Они всерьез задумываются о стратегиях внедрения ИИ и выступают за интеграцию подобных технологий в свою операционную деятельность». Клиенты могут подключать, измерять и обучать ИИ-агентов Ada на базе LLM точно так же, как живых сотрудников. Планы Ada на ближайшие 12 месяцев включают в себя кардинальное повышение прозрачности продукта и расширение элементов управления, доступных клиентам.

Чувство взаимного воодушевления разделяют обе стороны. «Одна из вещей, которая выделяет OpenAI на фоне других наших партнеров — это неподдельный энтузиазм и любознательность, — поделился Гоццо. — Чувствуется, что каждый член команды искренне увлечен этим делом. Помимо деловых отношений, речь идет о том, как мы вместе создаем нечто значимое, и это по-настоящему освежает».

Читайте также