Три урока от Intercom по созданию устойчивого преимущества в сфере ИИ

Благодаря ранним экспериментам, строгому тестированию и созданию архитектуры, которая развивается вместе с каждой моделью, компания Intercom создала масштабируемую ИИ-платформу, позволяющую выпускать новые функции за считанные дни, а не кварталы.

Close-up of copper wire strands with glowing reflections, overlaid with the white Intercom logo centered in the frame.

Когда в 2022 году появился ChatGPT, компания Intercom не стала просто наблюдать за новостями — она перешла к действиям. Всего через несколько часов после релиза GPT‑3.5 разработчики ПО для поддержки клиентов начали эксперименты, а спустя четыре месяца выпустили Fin — своего ИИ-агента, который сегодня обрабатывает миллионы клиентских запросов ежемесячно.

Этот ранний импульс не был случайностью. По мере стремительного развития больших языковых моделей (LLM) в Intercom осознали, что ИИ изменит сферу клиентского опыта. Руководство действовало оперативно: создало межфункциональную рабочую группу, отменило проекты, не связанные с ИИ, и выделило 100 млн долларов на перестройку бизнеса вокруг искусственного интеллекта.

Это решение повлекло за собой изменения во всей компании: реорганизацию продуктовых команд, новую стратегию службы поддержки, ориентированную в первую очередь на ИИ, и платформу, созданную для того, чтобы Fin справлялся с большими объемами и сложными запросами клиентов.

Ниже приведены три урока из опыта Intercom, которые может применить любая команда — независимо от того, с чего она начинает свой путь.

«Концепция «ИИ прежде всего» должна быть заложена в основу, её нельзя просто прикрутить сбоку».
Пол Адамс (Paul Adams), директор по продукту, Intercom

Урок 1: Экспериментируйте рано и часто, чтобы свободно ориентироваться в моделях

Intercom тестирует модели рано и часто, извлекая максимальный опыт из их работы.

Команда начала экспериментировать с генеративными моделями на раннем этапе, и этот практический опыт помог им выявить ограничения моделей и заметить новые возможности. Когда в начале 2023 года появилась модель GPT‑4, они были полностью готовы. Всего через четыре месяца они запустили Fin — и с тех пор не сбавляют темп.

«Мы смогли задействовать GPT‑3.5 для ведения плавных диалогов с проблесками магии, но она была еще недостаточно надежной, чтобы доверить ей наших клиентов, — говорит Джордан Нилл (Jordan Neill), старший вице-президент по разработке. — Поскольку мы уже проделали эту работу, с выходом GPT‑4 мы знали, что она готова, и выпустили Fin».

Та же беглость в работе с моделями помогла Intercom спроектировать Fin Tasks — систему, которая автоматизирует сложные рабочие процессы, такие как оформление возвратов и техническая поддержка. Хотя изначально команда планировала использовать стек на базе моделей для логического вывода (reasoning models), проведенные оценки показали, что GPT‑4.1 способна справиться с задачей самостоятельно — с высокой надежностью и меньшей задержкой.

Сегодня GPT‑4.1 обеспечивает работу растущей доли ИИ-инструментов Intercom, включая ключевую логику внутри Fin Tasks. Команда также обнаружила, что добавление промптинга с цепочкой рассуждений (chain-of-thought) к запросам для обычных моделей позволяет устранить отставание в производительности.

Вывод Intercom: чем лучше вы знаете свои модели, тем быстрее сможете адаптироваться по мере развития передовых технологий.

По результатам оценки Intercom, модель GPT‑4.1 продемонстрировала наивысшую надежность при выполнении задач, обеспечив при этом снижение затрат на 20% по сравнению с GPT‑4o. Показатели полноты выполнения усреднены по результатам 5 независимых заходов (с использованием Pass@k); результат засчитывается как «полный» только в том случае, если задача успешно выполнена во всех 5 запусках для снижения погрешности.

Урок 2: Добивайтесь высокой скорости за счет качественной оценки

Чтобы двигаться быстро, нужно измерять то, что работает, и понимать почему.

Способность Intercom оперативно внедрять новые модели, модальности и архитектуры коренится в их строгом процессе оценки. Каждая новая модель OpenAI — будь то инструмент для Fin Voice на базе Realtime API или для Fin Tasks на базе GPT‑4.1 — перед развертыванием проходит структурированные автономные тесты и живые A/B-испытания на предмет следования инструкциям, точности вызова функций и общей согласованности.

Например, команда проводит бенчмаркинг моделей на основе стенограмм реальных обращений в поддержку, оценивая, насколько хорошо они справляются с многоступенчатыми инструкциями (например, возвратами средств), поддерживают фирменный стиль общения Fin и надежно выполняют вызовы функций. Эти результаты ложатся в основу живых A/B-тестов, которые сравнивают показатели решения проблем и удовлетворенности клиентов для таких моделей, как GPT‑4 и GPT‑4.1.

Этот подход помог Intercom перейти с GPT‑4 на GPT‑4.1 всего за несколько дней. Убедившись в улучшении обработки инструкций и выполнения функций, они развернули GPT‑4.1 во всех задачах Fin Tasks и сразу увидели рост производительности и удовлетворенности пользователей.

«Когда вышла GPT‑4.1, у нас были результаты оценки в течение 48 часов, а сразу после этого — план развертывания, — говорит Педро Табакоф (Pedro Tabacof), ведущий научный сотрудник по машинному обучению в Intercom. — Мы сразу увидели, что GPT‑4.1 обладает оптимальным сочетанием интеллекта и задержки для потребностей наших клиентов».

Для Fin Voice аналогичный процесс оценки помог Intercom протестировать новые версии голосовых моделей и выявить улучшения в задержке, выполнении функций и следовании сценарию — всё это критически важно для предоставления телефонной поддержки человеческого уровня.

Intercom расширила систему оценки, чтобы охватить дополнительные аспекты, которые привносит в общение голос. Они систематически оценивают Fin Voice по таким критериям, как индивидуальность, тон, реакция на перебивания и фоновый шум, чтобы гарантировать высокое качество взаимодействия с клиентами.

Урок 3: Создавайте долгосрочные преимущества за счет архитектурной гибкости

Intercom с самого первого дня заложила в основу готовность к изменениям, спроектировав архитектуру, достаточно гибкую для того, чтобы развиваться вместе с моделями, от которых она зависит.

Система Fin имеет модульную конструкцию и поддерживает различные модальности, такие как чат, электронная почта и голос, каждая из которых имеет свои компромиссы в отношении задержки и сложности. Такая архитектура позволяет Intercom направлять запросы к наиболее подходящей модели и заменять их без реинжиниринга базовой системы.

Эта гибкость является осознанной и постоянно совершенствуется. Архитектура Fin переживает уже третью крупную итерацию, а следующая находится в разработке. По мере совершенствования моделей команда добавляет сложность там, где это необходимо для реализации новых возможностей, и упрощает систему везде, где это возможно.

Эта адаптивность оказалась критически важной для Fin Tasks. Изначально команда предполагала, что для поддержки Fin Tasks им понадобятся модели с возможностью логического вывода (reasoning models), которые позволяют Fin решать сложные запросы клиентов и выполнять многоэтапные процессы, такие как возврат средств, изменение данных аккаунта или техническое устранение неполадок.

Но в ходе тестирования возможности GPT‑4.1 по следованию инструкциям превзошли все ожидания, обеспечив такую же надежность при меньшей задержке и стоимости.

«Честно говоря, мне кажется, что о GPT‑4.1 говорят недостаточно, — отмечает Пратик Ботра (Pratik Bothra), ведущий инженер по машинному обучению в Intercom. — Мы были искренне удивлены показателями задержки и стоимости. Это позволяет нам менять архитектуру и избавляться от лишней сложности».

A flowchart diagram titled

Fin AI Engine™

Создание единого клиентского опыта с помощью унифицированных данных и автоматизации рабочих процессов

Команда только начинает свой путь. Работая на базе передовых моделей и опираясь на модульную, независимую от конкретных моделей архитектуру, Intercom выходит за рамки службы поддержки, автоматизируя рабочие процессы по всему бизнесу и обеспечивая более быстрое решение проблем и высокое качество обслуживания:

  • Команды поддержки: решают большинство входящих запросов в чатах, электронной почте, голосовых каналах и других источниках с помощью ИИ-агента Fin.
  • Операционные команды: автоматизируют сложные рабочие процессы, такие как возвраты средств, изменение данных аккаунта и обновление подписок с помощью Fin Tasks.
  • Продуктовые команды: используя сервер MCP от Intercom, ИИ-инструменты вроде ChatGPT получают доступ к беседам с клиентами, тикетам и пользовательским данным, помогая сотрудникам по всему бизнесу находить баги, формировать дорожные карты, дорабатывать коммуникацию и готовиться к ежеквартальным бизнес-ревью (QBR).

Компания Intercom создала масштабируемую ИИ-платформу, уделяя особое внимание строгой оценке, опоре на реальные показатели и гибкости дизайна. Это позволило им переосмыслить подход к поддержке клиентов и сформулировать ценные уроки для любой компании, создающей продукты на базе ИИ.

Хотите узнать больше о ChatGPT для бизнеса?

Связаться с нашей командой

Полный текст статьи читайте на OpenAI