Исследование: как клиенты реагируют на людей и на роботов во время телефонного опроса01.08.2016 14:07

Получить обратную связь от клиентов можно с помощью специалистов колл-центра, email-рассылок или роботов — так мы называем автоматизированные звонки с использованием технологии синтеза и распознавания речи.

Email-опросники подкупают своей дешевизной. Это самый недорогой способ, но в то же время самый ненадежный. Ответы на просьбу оценить, «как это было», приходят в лучшем случае от 10% пользователей. Наши клиенты, которые работают в электронной коммерции, рассказывали, что на письма «контроля качества» отвечают удручающие 2−3% от получивших письмо людей.

Больше данных можно собрать, если клиенту позвонить — с помощью робота или специалистов колл-центра.

Робот против оператора колл-центра

Испытать робота нам помог один банк с обширной клиентской базой (название раскрыть не можем). Несколько сотен офисов банка в Москве принимают тысячи людей ежедневно. Чтобы узнать, насколько клиенты удовлетворены обслуживанием, их обычно обзванивают операторы колл-центра.

Мы предложили этой компании провести эксперимент и заменить живых операторов роботом. Специалисты колл-центра и робот должны были обзвонить по тысяче клиентов. Клиент получал услугу, и в течение трех дней ему звонил робот или человек из колл-центра.

Обе стороны получили одинаковый список реплик: сначала приветствие c предложением оценить качество работы офиса, затем фраза «Удобно ли вам ответить на несколько коротких вопросов?», а после этого респондента спрашивали: «Остались ли вы удовлетворены качеством обслуживания в офисе N?».

Если клиент отвечал, что недоволен услугами, ему задавали уточняющие вопросы о том, что именно можно улучшить. Робот или оператор колл-центра предлагали несколько вариантов:

1. Необходимо сделать офис более комфортным.
2. Необходимо сделать ответы менеджеров более полными и понятными.
3. Необходимо сократить время ожидания в очереди.

Статистические погрешности

С точки зрения скорости первенство получил робот. Мы прописываем алгоритмы, которые позволяют роботу звонить в правильное время. Например, сигнал «Абонент вне зоны доступа» для робота означает, что человек в дороге и перезванивать нужно через час. После пяти неудачных попыток робот перестает звонить. Поэтому для крупных и масштабных исследований он может быстрее собрать необходимые данные.

Скорость компенсируется показателем Response Rate. Процент людей, которые готовы общаться с роботом, заметно ниже: операторы колл-центры получают ответы от 90−95% людей, которым они дозвонились, а робот — только от 30−35%. Как утверждают социологи, чем ниже процент ответов, тем больше ошибок будут представлять резудареллльтаты исследования. Когда показатель ответов равен 30%, статистическая погрешность увеличивается до 10%.

В книге Дарелла Хаффа «Как лгать при помощи статистики» есть классический пример искажения результатов опроса. Выпускники вузов в этом примере были недовольны результатами исследования их зарплат: по их мнению, цифры были завышены. Оказалось, что загвоздка не в нечестности исследователей, а в выбранном ими методе: сбор статистики проходил в виде опросов, ответы на которые отправляли по почте. Результаты были честные, но активнее отвечали те, у кого дела шли хорошо.

Эмпатия к роботу и к человеку

Видимо, если информация для клиента не важна, он легко кладет трубку при общении с роботом. Операторы колл-центра находятся в более выгодном положении: общаясь с ними, клиент практически вынужден довести разговор до логического конца. Так устроены люди: легче выделить минуту своего времени, чем еще несколько часов чувствовать себя виноватым перед другим человеком.

По идее, эмпатия должна распространяться и на робота. Согласно теории The media equation, люди склонны относиться к компьютеру примерно так же, как относятся к людям. Скажем, если компьютер попросит собеседника его охарактеризовать, тот будет использовать те же характеристики, которые использует для описания человека. Эта же теория объясняет, почему мы так сочувствуем, например, роботу из знаменитого видео Boston Dynamics.

Но в реальности роботы действительно получают меньше ответов, их не очень боятся обидеть. Исследователи виртуального мира Second Life получили следующие данные: ботам отвечают 30,9% респондентов, а людям — 65,5%. Виртуальная среда не способствовала тому, что бот там будет выглядеть как-то «естественнее».

Завершение эксперимента

Чтобы добрать нужную нам тысячу ответов, мы обзвонили 3500 людей. Напомню, цель опроса — узнать у людей, были ли они довольны посещением офиса. Если респондент был доволен, то его благодарили и принимали ответ. Если нет, ему на выбор предлагали три опции: что именно могло быть не так.

Из тысячи людей, которым дозвонился робот, 85−90% оказались довольны услугой, а 10−12% недовольны. А теперь барабанная дробь. По результатам исследования колл-центра, 95% опрошенных были удовлетворены услугой, и только менее 5% людей указали на то, что им не понравилось.

Робот получает больше негативных отзывов о компании, чем человек. Серьезно?

Выводим робота на чистую воду

Спор о том, кто лучше проводит исследования, существует не первый год. Одни утверждают, что интервью имеет социальную природу и здесь необходим человеческий подход. Другие выступают за стандартизированные интервью CASI (Computer-assisted self-interviewing) или T-ACASI (telephone audio computer-assisted self-interviewing). Они утверждают, что компьютеры, в отличие от людей, не имеют влияния на ответы респондентов.

Когда тема щепетильная, люди склонны скрывать правду от других. Когда речь идет о том, что может осуждаться: о наркотиках, сексе, курении — то более правдивые результаты дают именно стандартизированные технологические методы, исключающие человека.

В нашем случае, вероятно, с роботом не были готовы общаться те, кому сервис понравился и у кого все хорошо. Но еще более вероятно другое: в разговоре с роботом клиенту легче признаться, что ему что-то не понравилось. С живым оператором у клиента есть риск оказаться в конфликтной ситуации, за которой в лучшем случае последует выяснение подробностей, а в худшем ему попытаются еще что-то допродать. Путь наименьшего сопротивления — сказать, что все понравилось.

Результаты

Принимая во внимание статистическую погрешность, мы можем предположить, что «довольные» клиенты не участвовали в опросе робота и среди клиентов банка на самом деле не 10−12% недовольных, а 5%. Но даже если следовать этой интерпретации, робот не теряет своей практической пользы: с его помощью данные о недовольстве клиентов можно собрать дешевле и с меньшими усилиями.

Однако нам больше нравится версия, что роботам просто чаще говорят правду.