Как «Додо Пицца» потеряла и вернула 7,84 миллиона рублей — Рассказ топ-менеджера компании12.01.2017 15:38

За неделю до Нового года мы по ошибке вернули клиентам 7,84 миллионов рублей, отменив более 10 577 транзакций. Мы спросили банковских экспертов, можно ли вернуть эти деньги обратно, и они ответили: «Маловероятно». Тем не менее, нам удалось это сделать. Расскажу, что привело к ошибке, как мы и партнеры сумели решить проблему и, главное, какие выводы мы сделали из этой истории.

Утром 23 декабря 2016 года процедура по отмене некорректных транзакций прошлась по базе данных, развернутой в тестовой версии нашей информационной системы «Додо ИС». Пару часов назад из-за неправильно проведенного переноса данных тестовая версия получила «боевые» значения для взаимодействия с «Яндекс.Кассой». Более того, мы использовали единый сертификат безопасности для тестовых и боевых операций.

В результате были отменены реальные транзакции, причем совершенно корректные. Система посчитала их «некорректными», поскольку на тестовую версию попадает «обрезанная» база данных. Мы заметили это только в 24 декабря 2016 года, когда наши партнеры получили реестры от «Яндекс.Кассы» и увидели возвраты, которых они не проводили. Несколько часов ушло на то, чтобы понять, что вызвало проблему.

Мы сразу определили два ключевых условия, которым должно удовлетворять ее решение. Во-первых, наши партнеры — франчайзи «Додо Пиццы» ни в коем случае не должны пострадать. Если не сможем вернуть деньги, возместим убыток из средств управляющей компании. Во-вторых, деньги нужно вернуть до Нового года — иначе все банки закроются на каникулы и франчайзи не смогут рассчитаться с поставщиками и сотрудниками.

Несмотря на выходной, в решение нашей проблемы сразу же включилась команда «Яндекс.Денег», включая генерального директора Марию Грачеву. Кроме того, в субботу основатель и генеральный директор «Додо Пиццы» Федор Овчинников рассказал о проблеме в социальных сетях и попросил о помощи. В постах упоминалось, что мы вернули около 10 миллионов рублей, а не 7,84 — на тот момент это была приблизительная оценка. Посты в Facebook и во «ВКонтакте» привлекли внимание, люди давали советы и полезные контакты.

Мы поняли, что есть всего три варианта вернуть деньги. Мы могли произвести повторное списание с помощью механизма повторных платежей. Минус этого варианта — оспариваемая легальность. Мы могли произвести отмену возврата транзакций, но это требовало договоренностей с банками-партнерами «Яндекс.Денег». Наконец, мы могли просто попросить клиентов вернуть наши деньги. Но этот сценарий казался нереальным: на каком основании люди будут возвращать деньги и, главное, каким образом? Ведь, напомню, сеть объединяет свыше сотни разных юридических лиц.

Пока мы прорабатывали все три варианта, наша история попала во многие профильные издания. Мы даже засветились в статье »8 главных провалах и закрытиях 2016 года» на vc.ru. Нам советовали обратить это в маркетинговый ход и не возвращать деньги — или остановиться на варианте с добровольной оплатой.

Попробую объяснить, почему мы не стали этого делать. Естественно, мы не могли допустить, чтобы за нашу ошибку расплачивались партнеры — пусть даже ради эффектного маркетингового хода. Поэтому компенсировать все убытки пришлось бы за счет управляющей компании.

7.84 миллионов рублей для сети с оборотом почти в 2,9 млрд в год — не мелочь. Оборот создает франчайзинговая сеть. Выручка управляющей компании состоит из роялти с оборота и паушальных взносов, которые совместно за 2016 год составили около 220 миллионов рублей.

При этом мы развиваемся как стартап, оплачивая инвестиционным капиталом вложения в развитие инфраструктуры и рост команды разработки. Прямой убыток такого масштаба — это более 10% от суммы инвестиций, привлеченных в ходе нашего последнего инвестиционного раунда. Для одной ошибки — серьезная цена.

Мы готовы были заплатить ее, но хотели сделать все возможное, чтобы избежать такого развития событий. В понедельник мы узнали, что команде «Яндекс.Денег» удалось договориться с банками-партнерами об операции по отмене возврата. Менеджеры, операционисты и бухгалтерия «Яндекс.Денег» проделали для нас колоссальную работу, перебрав вручную более десяти тысяч транзакций. Вопрос был в том, успеют ли банки-партнеры провести операции до праздников.

Мы понимали, что у многих клиентов непонятные транзакции вызовут недовольство или вопросы. Мы написали скрипты для колл-центра, проработали процедуры разбора рекламаций, отправили предварительные SMS-сообщения с разъяснениями и запустили одностраничный сайт с формой обратной связи. Однако когда пошли первые отмены, мы поняли, что ситуация сложнее, чем мы думали.

Возврат денег — не совсем типичная операция. Как правило, вы видите ее отражение по своему счету не сразу, а в течение двух недель. Разные банки по-разному отрабатывают возврат в своих учетных системах. Клиенты иногда получают оповещения по таким операциям, а иногда нет.

При этом операция отмены возврата — еще менее типичная операция. Мы даже не могли предсказать, каким именно образом банки-эмитенты карт отразят эту операцию в балансах своих клиентов и какие отправят уведомления.

В результате мы получили около 200 обращений от клиентов. Это около двух процентов от всех транзакций — относительно немного. Но даже 200 обращений — серьезная нагрузка на операторов, особенно в предпраздничные дни. Поэтому в самые горячие часы, чтобы разгрузить колл-центр, клиентов обзванивали менеджеры продуктов, директор по франчайзингу и финансовый директор «Додо Пиццы». Сейчас у нас в работе осталось около 30 тикетов.

Нам удалось разрешить ситуацию с минимальными убытками. Последние платежные поручения были отправлены платежным рейсом вечером 30 декабря 2016 года. На следующий день, утром, практически все деньги вернулись партнерам на счета.

Какой ценой? Титаническая работа операционистов и менеджеров «Яндекс.Денег». Два хирургических хотфикса на продакшене сайта федеральной сети в 150 пиццерий перед Новым годом. Также мы заплатили комиссию банкам-партнерам за проведение операции по отмене транзакций около 150 тысяч рублей и за уведомление клиентов по SMS чуть больше 40 тысяч рублей.

«Кто виноват-то?» — этот вопрос я слышал за ту неделю несколько десятков раз. Это очень удобный вопрос, потому что на него предполагается простой и однозначный ответ. Но такого простого ответа в принципе быть не может. Мы исходим из того, что ни один сотрудник не может допустить ошибку из злого умысла. Мы работаем только с ответственными и самостоятельными людьми. И мы понимаем, что если ошибка возможна, ее кто-то обязательно совершит.

С первого дня «Додо Пицца» разрабатывает собственную информационную систему. Сегодня она обслуживает продажи в девяти странах мира для более чем 150 пиццерий. За пять лет разработки мы прошли путь от блока по приему заказов до прототипа полноценной облачной ERP-системы, которая управляет заказами, работой на кухне, планированием графиков, запасами, финансами — практически всеми аспектами нашего бизнеса.

Обеспечивая столь впечатляющий рост, мы нередко отдавали приоритеты быстрой разработке функциональности, необходимой операционному бизнесу, который развивался по-предпринимательски, без крупных инвестиций. Иногда это происходило в ущерб системной логике, архитектуре или инфраструктуре.

В системе накопились уязвимости. Их можно сравнить с заряженными ружьями, висящими на стене. Мы знали о них, но надеялись, что они не выстрелят «еще вот до того релиза».

Как и многие успешные компании, которые развивались быстро, мы накопили критическую массу технического долга. Понимая это, в прошлом году мы запустили проект по реинжинирингу системы — начали менять архитектуру нашей информационной системы «Додо ИС», не прерывая при этом разработку новых модулей и поддержку работающей операционной системы.

Однако реинжиниринг делался разными командами. У всех был общий дедлайн, но у каждой команды оказались свои приоритеты. Проект оказался сильно растянут по времени и плохо синхронизирован. В результате элементы системы, которые носят максимальный риск, спустя полгода от старта так и оставались непереработанными.

В большой системе с высокой связанностью кода и высокой интенсивностью разработки риски критичной ошибки становятся неуправляемыми. Именно такой риск и реализовался в нашем случае. Мы рады, что в такую трудную минуту нам помог партнер — «Яндекс.Деньги». Провалы случаются, и они позволяют понять, что за люди тебя окружают. Нам повезло.

Как мы исправимся

Строго оформим реинжиниринговый проект с требованиями, этапами и сроками. Владельцем проекта станет архитектор «Додо ИС». Причем приоритеты разработки в отдельных командах будут отданы критичным с точки зрения убытков участкам системы — платежному шлюзу, клиентской базе данных, подсистеме безопасности и сервисам с минимально допустимыми процентами отказов в обслуживании. Усилим наши QA-процессы наймом руководителя направления.

Иногда бизнесу бывает трудно осознать, что нефункциональные требования к продуктам (доступность, отказоустойчивость, защищенность) могут оказывать на финансовые результаты большее влияние, чем конверсия или время, проведенное на сайте. Для нас эта история стала хорошим уроком.