[Из песочницы] Решаем задачи на принятие решений на основе данных
Сейчас многие и очень многие люди (обычно их называют аналитиками, но в целом это может быть какая угодно специальность) готовят различные красивые таблицы и графики, на основании которых в идеале должны приниматься важные решения.
Понятия, которые начинаются со слов Data Driven, сейчас на слуху.
Но не всегда решения принимаются действительно на основе данных. А иногда с принятием решений есть объективные проблемы.
Материалов о том, как хорошие данные генерировать, хранить и красиво подавать достаточно.
Всем желающим немного поупражняться именно в принятии решений на основе кое-как полученных и кое-как оформленных данных — добро пожаловать под кат.
Перед началом
Принимать решения будем на основе задачек («кейсов»).
Всё просто:
- Контекст (кто мы? где мы? что мы хотим?),
- Дано (набор данных, какие есть, такие есть),
- Варианты решений которых на их основе можно принять,
- Информация к размышлению
- Возможные ответы с комментариями.
Уровень сложности всех задач — на уровне Капитана Очевидность. Задача не построить «теорию всего», а поговорить в терминах принятия решений на основе данных.
Данные упражнения рекомендуются
- аналитикам в качестве развлекательного чтения,
- лицам, принимающим решения, в качестве лёгкой разминки,
- а также тем, кому надо через час срочно прособеседовать кандидата, а задачи «про гномиков» вызывают недоумение и/или отвращение.
Для создания данной статьи не было использовано никаких специальных программ, любую часть этой статьи любой желающий может использовать в любых законных целях.
И ещё немного простых, но важных мыслей:
- любой пример, вырванный из контекста той или иной бизнес-модели, может быть неудачным и даже в корне неправильным
- настоятельно рекомендую относиться ко всем примерам как к учебному пособию, а не как к рекомендации к действиям в реальном мире
- даже при небольшом изменении формулировок условий и поставленных заранее целей рекомендуемое решение может измениться (и мы это увидим)
- на большую часть задач нет и не может быть «правильных» ответов, в конце каждой задачи будут мысли и лишь возможные решения
- и, конечно, все данные — случайные числа, не имеющие никакого отношения ни к каким реальным показателям, все сходства — совпадения
А теперь — поехали.
Задача №1
Окупаемость инвестиций
Контекст
Представьте себе, что у вас есть деньги. И вы эти деньги проинвестировали в активы.
Возможно, это ваш интернет-магазин и тогда активы — это маркетинговые каналы. Возможно, вы венчурный инвестор и тогда активы — это какие-нибудь стартапы. Вариантов может быть много.
Важно, что вы вложили деньги с чётко прописанной целью — окупиться за 1 календарный год.
Этот год прошёл, и пришло время смотреть на финансовый результат.
Он выглядит следующим образом:
Среднемесячные показатели приведены для того, чтобы не учитывать разную сезонность активов.
И дополнительный график:
ROI — (return of investments) показатель эффективности инвестиций, считается как (revenue-costs)/cost. Если ROI=0, то мы «в нуле», если ROI>0, то мы «в плюсе», т.е. заработали больше, чем потратили.
Предположим, что
- рынок у нас стабильный, т.е. его не кидает то вверх, то вниз (подавим в себе нервный смешок, пример учебный)
- рынок устоявшийся, никаких тектонических сдвигов (например, из офлайна в онлайн) не происходит,
- рынок достаточно крупный
Формулировка задачи
Укажите номер активов, в которых вы бы проинвестировали с аналогичной целью на следующий год.
Информация к размышлению
В задачах на таком уровне детализации логично предположить, что расходы на следующий год в каждом активе будут примерно такими же.
Возможные ответы
Если уровень сложности заявлен как «капитан очевидность», то мы пренебрегаем всем и тупо указываем все активы, которые окупились, т. е. у которых ROI>0:
1,2,5,9,10,11,12
Ответ 2:
Год на год не приходится, можно проинвестировать и в активы с лёгким минусом, возможно, в следующем году будет лучше. Кроме 1,2,5,9,10,11,12 можно добавить 3, 6,7,13,14
Ответ 3:
Давайте вернёмся к первому графику (доходы и расходы), посмотрим на него и поймём, что по расходам у нас активы разделяются на 3 категории: дорогие, средние и дешёвые.
При прочих равных имеет смысл инвестировать в более дешёвые активы. Риски (вероятность потерять вложенное) такие же, но рискуем мы меньшими суммами. У активов с номерами 3, 7 и 14 одинаковый ROI (-4%). Из них в портфель лучше взять номер 14 (меньшими суммами рискуем).
Задача №2
Эффективность акции
Контекст
Теперь давайте представим себе, что у нас есть не просто есть деньги, но какой-никакой стабильный бизнес. Например, интернет-сервис по продаже услуг (репетиторы, барбершопы, какой-нибудь блог, на котором размещена реклама, что угодно). У нас есть подчинённый-маркетолог. Он решил провести маркетинговую акцию в октябре. Вы настояли на том, что у акции должна быть ясная цель.
После обсуждений сформулировали её максимально просто: заработать денег прямо сейчас. (Редкий случай в реальной жизни, чаще всего цель заработать денег когда-нибудь потом, стимулировать повторные продажи, привязать к бренду или ликвидировать складские остатки).
По итогам акции мы видим следующий график продаж:
Давайте считать, что мы по ценам и качеству в целом «в рынке» относительно наших конкурентов, наша сфера достаточно большая, стабильная и появилась не вчера, крупных внешних изменений за последние месяцы не произошло. Кроме того, не наблюдается изменений в структуре продаваемых товаров.
Ваши действия?
1. Уволить маркетолога
2. Оставить маркетолога без премии
3. Вручить маркетологу стандартную премию
4. Вручить маркетологу двойную премию
5. Для принятия решения недостаточно данных
Информация к размышлению
Услуги (в отличие от классического ритейла «купи подешевле-продай подороже») предполагают такую бизнес-модель, когда себестоимостью услуг можно пренебречь.
В отличие от реальной жизни, в данном примере мы не знаем специфики бизнеса, а она может быть важна. Но часто со спецификой можно ознакомиться с помощью данных, главное правильно задать вопрос.
Возможные ответы
Есть версия о том, что тут работает обычная распродажа (сбросили цены — увеличили спрос), но для подтверждения этой мысли нам недостаточно данных.
Дополнительно поставленные условия исключают такое изменение спроса, как ожидаемое изменение спроса (например, мода) или действия конкурентов.
Но вполне возможно, что в октябре у нас может быть естественный сезонный рост (небольшой пик спроса в феврале при росте цен показывает, что такое возможно).
Поэтому
5. Для принятия решения недостаточно данных — мы хотим знать сезонность.
В идеале бы ещё — аналогичные графики для наших основных конкурентов (мечтать, конечно, не вредно, ладно, обойдёмся без этой информации).
Комментарии
Мы видим «ноль» на вертикальной оси на графике, т.е. нет никакой манипуляции с масштабом.
Величины, которые влияют на выручку (продажи и средний чек), отражены на одном графике, а значит легко увидеть их взаимодействие. Сценариев, когда одна величина уменьшается при росте другой, достаточно. На двух стоящих рядом графиках менее очевидные случаи могли быть незаметны.
В текущей задаче нас интересуют не точные цифры, а динамика, поэтому подписей на графиках минимум.
Задача №2а
Эффективность акции (и нам дана сезонность)
Контекст
Все условия предыдущей задачи остаются в силе, но нам даны данные за прошлый год и, бонусом, приросты: 
Заказы:
прирост
- к аналогичному месяцу прошлого года: +77%
- к прошлому месяцу: +52%
Средний чек:
прирост
- к аналогичному месяцу прошлого года: -22%
- к прошлому месяцу: -25%
Ваши действия?
1. Уволить маркетолога
2. Оставить маркетолога без премии
3. Вручить маркетологу стандартную премию
4. Вручить маркетологу двойную премию
5. Для принятия решения недостаточно данных
Информация к размышлению
Сезонность у нас явно существует, хотя и небольшая. Явно нет пика сезонности в октябре.
Другие значимых факторов, кроме маркетинговой акции придумать сложно (хотя и возможно).
Возможные ответы
Кстати, в данном случае нам не нужна даже история прошлых маркетинговых акций. Если бы мы видели рост продаж в октябре (особенно при падении цен) — логично предположить, что в прошлом году уже была аналогичная акция в это же время.
В реальной жизни историю продаж прошлого года получить как правило гораздо проще, чем историю изменений в продукте, крупных акциях в прошлом и т.п.
Итак, причиной роста считаем изменение цены.
Т.к. себестоимостью мы пренебрегаем, успешная акция — это такая акция, с которой мы заработали больше по сравнению с ситуацией, когда мы не делали бы ничего.
Можно высчитывать точные значения, а можно просто сравнить рост чеков и падение цен. В данном случае мы видим, что выручка наша в этом месяце выросла (продажи выросли больше, чем снизился средний чек), поэтому акция успешная.
Можно выбрать что-то из вариантов
2. Оставить маркетолога без премии («Он просто сделал свою работу»)
3. Вручить маркетологу стандартную премию («Какой-то процент от дополнительной выручки»)
4. Вручить маркетологу двойную премию («Вау! Маркетинг работает! да не жалко отсыпать от души»)
в зависимости от предварительных договорённостей и нашего стиля управления
Комментарии
Когда с трендами всё понятно и надо что-то точно посчитать, лучше привести конкретные цифры в явном виде, а не считывать их с графиков.
Бонусом к этой задаче мы видим уровень инфляции за год: это средняя разница между средним чеком текущего и прошлого года (без учёта акционного месяца).
Задача №3
Эффективность акции (и у нас другая бизнес-модель)
Контекст
Все условия предыдущей задачи остаются прежними, но продаём мы не услуги, а товары. (Купили подешевле — продали подороже).
Заказы:
прирост
- к аналогичному месяцу прошлого года: +77%
- к прошлому месяцу: +52%
Средний чек:
прирост
- к аналогичному месяцу прошлого года: -22%
- к прошлому месяцу: -25%
Ваши действия?
1. Уволить маркетолога
2. Оставить маркетолога без премии
3. Вручить маркетологу стандартную премию
4. Вручить маркетологу двойную премию
5. Для принятия решения недостаточно данных
Возможные ответы
Тут без себестоимости ну никак.
5. Для принятия решения недостаточно данных
Комментарии
Изменение одного слова в условии задачи приводит к совершенно другому решению. Детали часто могут быть важны.
Задача №3а
Эффективность акции (и у нас есть себестоимость)
Контекст
Все вводные предыдущей задачи остаются, добавляется график динамической себестоимости (предположим, что там учтены расходы на хранение на складе, колебания курсов валют, усушка и т.п.).
По итогам акции мы видим следующий график продаж:
Заказы:
прирост
- к аналогичному месяцу прошлого года: +77%
- к прошлому месяцу: +52%
Средний чек:
прирост
- к аналогичному месяцу прошлого года: -22%
- к прошлому месяцу: -25%
Ваши действия?
1. Уволить маркетолога
2. Оставить маркетолога без премии
3. Вручить маркетологу стандартную премию
4. Вручить маркетологу двойную премию
5. Для принятия решения недостаточно данных
Возможные ответы
2. Оставить маркетолога без премии («признаем эксперимент неудачным, решаем проблемы внутренней коммуникации и идём дальше»)
Комментарии
Распродажи «в минус» при несогласованности отделов — это большая беда. Чаще всего такие акции скорее рассчитаны на повторные продажи.
Пожалуй, количество линий на текущем графике — это максимум, который можно себе позволить без потери читабельности.
Задача 4
Подводим итоги A/B/C-теста
Контекст
Представьте, что у нас есть хороший приносящий деньги бизнес, за который не стыдно: у нас есть много лояльных клиентов. Например, у нас есть интернет-магазин и есть подписка с каталогом товаров, на которую законно и этично подписана большая аудитория. Они видят в своём почтовом ящике письмо от их любимого бренда, открывают его, смотрят описания товаров (акций, спецпредложений — ну чего-то), в конце письма есть кнопка «Купить» (нейтрального цвета как обычная кнопка в интерфейсе) после нажатия на которую переходим на сайт. Там уже можно что-то купить.
Продуктовой команде пришла в голову идея поднять продажи с помощью изменения цвета кнопки (нам опять повезло, не психология, не привязанность к бренду, не долгосрочные прогнозы, а продажи здесь и сейчас). Решили провести тест: разделили всю нашу лояльную (давшую согласия на обработку персональных данных и рекламную рассылку) аудиторию на три группы: контрольную (в которой примерно 90% аудитории) и две экспериментальных, с зелёной и красной кнопкой (примерно по 5%).
Ждём фиксированное время и смотрим на следующие результаты теста:
Зелёным подсвечены те результаты, где результат теста статистически лучше базового. Если бы где-то было статистически хуже — это было бы подсвечено красным.
Т.к. часть результатов может вызвать скепсис, немного пруфов из независимого источника (один из многих онлайн калькулятора A/B-тестов www.evanmiller.org/ab-testing/chi-squared.html):
Ваши дальнейшие действия
1. Провести A/A-тест
2. Оставить базовый вариант
3. Поставить вариант с зелёной кнопкой
4. Поставить вариант с красной кнопкой
5. Продолжить ABC-тест в других пропорциях
6. Для принятия решения недостаточно данных
Информация к размышлению
Механизм тестирования может быть несовершенным.
Механика почтовой рассылки в данной задаче важна.
Иногда нужна ещё и внимательность.
Возможные ответы
Значимый результат красной кнопки на самом деле не про кнопку. А вот зелёную стали жать лучше. На продажи это не повлияло, т.к. выборка маленькая. Но бизнес не ждёт, надо выкатывать какой-то результат, так что ставим зелёную кнопку и идём дальше.
Нам нужны продажи. Возможны случаи, как высокая конверсия в клик ведёт к низким продажам (например, когда мы обещаем что-то хорошее за копейки, а действительность оказывается хуже или значительно дороже). Вроде это не наш случай, всего лишь цвет кнопки. Но в некоторых областях (экзамены ПДД, футбол, переработка мусора и т.п.) зелёный цвет может вызвать неожиданные ассоциации и теоретически обрушить продажи. Т.к. оценить продажи на таких выборка объективно не получается, надо продолжить тест в других пропорциях: 90% отдать зелёной кнопке, по 5% красной кнопке и контрольной группе.
Комментарии
Пример с цветом кнопки очень теоретический. Хотя иногда небольшие мелочи могут действительно приводить к значимым результатам.
Главная проблема тестов — они требуют времени. Поэтому часто приходится принимать половинчатые решения: бизнес не будет ждать столько, столько нужно для полной уверенности.
Задача 5
Анализируем изменения в сегментах аудитории
Контекст
Представим себе, что мы рулим каким-то никзомаржинальном высококонкурентном бизнесом, т.е. мы не можем раздавать скидки всем налево и направо, а любая наша ошибка приведёт к оттоку аудитории в конкурентам. Например, мы мобильный оператор из большой тройки. Или интернет-провайдер. Или парикмахерская.
На основании общих соображений мы формируем следующие сегменты нашей аудитории:
Новички — те, кто только что познакомился с продуктом.
Отток — те, кому наш продукт не понравился, они перестали им пользоваться
Лояльные — самые классные, они пользуются и они счастливы (возможно, даже рекомендуют нас друзьям)
Отток лояльности — пользователи, которые всё ещё «с нами», но они несчастливы, активно ищут альтернативу и с радостью перейдут к тому, кто предоставим им более дешёвый или удобный сервис.
У мобильный операторов или банков этот сегмент особено велик: мало кто полностью доволен своим, но «переезд» чреват большими издержками и на него надо решиться.
Вы располагаете следующей информацией по динамике переходов из сегмента в сегмент: 
Разница во времени между «было» и «стало» значительная для нашего продукта.
Ваши действия:
1. Ничего не предпринимать
2. Сделать скидку для новичков
3. Сделать скидку для тех, кто сейчас в сегменте «Лояльные»
4. Сделать скидку для тех, кто сейчас в сегменте «Отток лояльности»
5. Для принятия решения недостаточно данных
Информация к размышлению
Дать скидку всем мы не сможем.
Удержать пользователя с помощью скидки в подавляющем большинстве случаев дешевле, чем привлечь нового пользователя.
Возможные ответы
Новичкам давать скидку не выгодно. Мы и так потратили много на их привлечение, а переход в отток сразу очень большой. Оттоку давать уже поздно, они нашли альтернативу. Обычно в таких случаях дают скидку оттоку лояльности, если получается быстро вычленить этот сегмент до того, как станет слишком поздно.
Судя по долям и динамике в нашем примере, давать скидку оттоку как раз поздно. Их мало и они быстро утекают. В данных (признаемся, достаточно редких в реальном мире) условиях лучше давать скидку лояльным
Комментарии
В данном конкретном случае возможно, следует либо поменять методику деления на лояльных и отток лояльности, либо ввести промежуточные градации, т.к. с таким «текучим» сегментом сложно работать.
Задача 6
Выстраиваем KPI в маркетинге
Вы занимаетесь платным продвижением в сервисе, который предоставляет платные услуги online. Ваш основной KPI — среднемесячный ROI каналов, которыми вы управляете.
Формулировка задачи
Каким способом вы можете обеспечить выполнение KPI наиболее надёжным способом?
1. Работа над качеством рекламных материалов (баннеры, лендинги и т.д.)
2. Работа в правильном наборе каналов и кампаний
3. Оперативное реагирование на неудачные кампании по опережающим метрикам
4. Работа только с дешёвыми каналами
5. Работа по узкой, но целевой аудитории без масштабирования
Информация к размышлению
Нам нужен очень проверенный и надёжный способ.
Вопрос стоит не в том, как хорошо сделать бизнесу, вопрос стоит в том, как выполнить поставленный нам KPI.
Возможные ответы
Оперативное реагирование хорошо, но никакой гарантии выполнения нашего KPI, это, увы не даёт.
Обращаем внимание на то, что ROI никак не зависит от оборота. ROI в 20% может быть и на космических бюджетах, так и на крошечных.
Но небольшие бюджеты (особенно, если процесс хоть как-то налажен) легче поддерживать на уровне, чем масштабировать. На малых выборках (особенно при наличии лояльной аудитории и неидеальной атрибуции) делать высокий ROI гораздо проще.
Поэтому никакого масштабирования, никакого риска, никакого развития. Тратим мало, чем меньше, тем лучше, только в самое надёжное и проверенное.
Комментарии
Неправильно поставленные KPI могут привести к тому, что естественное стремление их выполнить будет вредить бизнесу, а не помогать ему.
Задача №7
Выстраиваем KPI в продукте
Вы занимаетесь развитием сайта, который предоставляет платные услуги.
Ваш основной KPI — среднемесячная конверсия из визитов в оплаченные заказы.
Формулировка задачи
Каким способом вы можете обеспечить выполнение KPI наиболее надёжным способом?
1. Улучшать функциональность сайта с помощью пользовательского опыта
2. Вводить новые фичи
3. Улучшать качество услуг и время обратной связи
4. Давать больше бесплатных материалов
5. Снижать цены на продукт
6. Закрыть доступ на сайт всем, кроме старых платящих пользователей
Информация к размышлению
Нам нужен очень проверенный и надёжный способ.
Вопрос стоит не в том, как хорошо сделать бизнесу, вопрос стоит в том, как выполнить поставленный нам KPI.
Возможные ответы
Конверсия не зависит от объёма.
На низких объёмах делать высокую конверсию проще. Поэтому сайта надо выгонять всех, кто ещё не заплатил. Тогда не будет ни аудитории, ни развития, ни рынка, но будет высокая конверсия.
Комментарии
Неправильно поставленные KPI могут привести к тому, что естественное стремление их выполнить будет вредить бизнесу, а не помогать ему.
На этом по задачам на сегодня всё. Буду рад услышать ваши мысли и альтернативные решения в комментариях.
