В поисках правильной аналитики в маркетинге17.05.2017 11:21

Продакшн-директор агентства Kinetica Артем Первухин о критериях хорошего анализа и идеальном аналитике.

В избранное

Люди плохо понимают, что такое аналитика. Особенно в маркетинге. В надежде увеличить ценность работы, аналитикой называют отчеты и статистические выкладки, что обычно игнорируется заказчиком, а впечатление об «анализе» складывается из количества страниц документа.

Дело в том, что данных, на основании которых строится анализ, всегда много, и какие-то простые группировки часто выдают за аналитику. На самом же деле, данные отдельно от целей не представляют особой ценности.

Отчет — не анализ

Между отчетом и анализом есть принципиальная разница:

Любой анализ начинается с формирования и исследования ключевых показателей и взаимосвязей между ними. Подмена понятий: настройку целей часто называют аналитикой, хотя это не так.

Анализ всегда представляет из себя ответы на вопросы с понятными и измеримыми параметрами оценки, включая шаги, необходимые для получения ответов на эти вопросы. Основа анализа — статистически значимые, актуальные и достоверные данные.

Порой экспертное мнение человека пытаются выдать за данные, на базе которых строятся выводы. Тут нужно разобрать пару моментов:

Эксперт — это внешнее признание профессионализма в профессиональной среде, и если у специалиста оно есть, то это действительно может быть основой для каких-то аналитических выкладок, но если нет, то необходимо опираться на статистически значимые исследования своей компании или компаний, которые такие исследования проводят, например, TNS, Google, «Яндекс», Facebook и другие.
Актуальность данных, особенно в маркетинге, — это главное, потому что выводы на базе устаревшей информации будут ложными.

Порядок формирования анализа

Формирование KPI → Формирование задачи на изменение KPI → Формирование и сбор данных → Выводы на основе данных → Рекомендации, что конкретно сделать, чтобы изменилось KPI → Ретроспектива.

Формирование задачи на изменение KPI

Бизнес диктует планы по увеличению доходов, маркетинг трансформирует эти задачи в планы по заказам, заявкам, трафику и отдает их агентству или подрядчику. На этом этапе постоянно страдает корректность постановки задач из-за больших амбиций и скромных ресурсов.

Извечная проблема человечества — получить как можно больше, затратив как можно меньше. В целом в этом нет ничего плохого, но опытный аналитик во время приемки задачи всегда оценивает, насколько адекватны требования.

Разберем типичную задачу: «Сформировать и обосновать гипотезы для увеличения среднего чека по продажам сервисных карт для корпоративных клиентов». В такой постановке ошибка в том, что решения, которые вырабатывалось аналитиком, не подходили для текущих клиентов. Не проговорив, что нас интересуют только новые клиенты, мы получили неподходящие гипотезы.

Формирование и сбор данных

Цели в Google Analytics, коллтрекинг, отчет по сделкам за период, статистика поведения потребителей — это всё информация, сбор которой должен быть настроен заранее, желательно централизованно, для быстрого и удобного доступа к различным срезам данных.

Выводы и рекомендации

Имея статистически значимые выводы, мы можем генерировать рекомендации по изменениям. Задача на этом этапе — указать конкретные шаги, которые можно предпринять, чтобы использовать результаты анализа для улучшения бизнеса.

Представьте, что у вас есть две гипотезы по результатам анализа:

С вероятностью 90% действие А принесет рост продаж на 5% в год. Стоимость внедрения — 10% от годового оборота.
С вероятностью 50% действие Б принесет рост продаж на 30% в год. Стоимость внедрения — 5% от годового оборота.

Какое решение вы бы выбрали при прочих равных?

Ретроспектива

Аналитик отвечает головой, зарплатой, перед богом за качество своего анализа, как и любой профессионал. Ретроспектива должна показать, какие гипотезы отработали, и какое отклонение от плановых показателей произошло фактически, а также почему эти отклонения возникли, и что предпринять в будущем.

Я сознательно использую слово «отклонение», а не «падение», поскольку считаю, что значимые отходы от плана в обе стороны — это ошибка анализа и планирования. Просто при отклонении в сторону роста показателя клиент радуется, а в отрицательную — грустит, но мне грустно всегда, когда аналитик значимо отошел от плана.

Ретроспектива — прекрасный инструмент оценки своей квалификации и накопления опыта, когда понимаешь разницу между «данные говорили об ХХХ» и «по факту получилось NNN».

Разные взгляды на аналитику

Давайте разберемся, как видит аналитику заказчик:

Грубо говоря, заказчику важны лишь рекомендации и технические задания на изменения: именно в них они видят ключевую сложность и определяют эти этапы как основные.

Так происходит потому, что рынок предоставления данных довольно развит — это разные виды баз данных, включая Google Analytics, CRM, облачные данные и Big Data — все это стоит относительно небольших денег, а отчеты можно снимать и агрегировать практически мгновенно и автоматически. Но некоторые ребята пытаются монетизировать и эту работу, называя аналитикой сбор данных.

Для аналитика же все этапы равнозначны по трудозатратам и сильно зависят друг от друга — выдать отдельно каждый участок за аналитику нельзя. Например, когда в отчете просто набор данных, тот, кто его формировал, перекладывает работу по выводам и рекомендациям на читателя.

Для того чтобы прийти к рекомендациям и конкретным ТЗ на изменения чего-либо, нужно отработать на каждом участке большое количество времени.

Серия аналитических отчетов может стать новым стандартом и видением бизнеса. Например, если вам нужно понять ключевые причины оттока покупателей, аналитик берет текущие данные, анализирует причинно-следственные связи, и вы получаете отчет, который можно формировать системно, видя KPI бизнеса под новым углом.

Борьба с когнитивными искажениями

Кто читал Даниэля Канемана, знает, насколько человек находится в плену своих убеждений и заблуждений. Аналитику нужно регулярно раздупляться, поэтому эту работу я даю прорабатывать в паре. Кто не читал — кратко опишу искажения, которые регулярно «накрывают» аналитика.

Что видишь, то и есть (поспешные выводы)

Набирая шаг за шагом данные, у вас выстраивается картина, в которой вы твердо убеждены в каждый момент времени, и аналитика подмывает прекратить изучение, ведь «всё уже ясно». Если вы недобрали данных и кто-то, обладая ими, поставит под сомнения ваши выводы — вы будете доказывать обратное просто потому, что для правильных выводов нет полной картины данных.

Прайминг

Воздействия личных воспоминаний или ассоциаций на анализ. В нашем случае — когда вопрос изначально формулируется с оценкой. Например, в брифинге клиент убежден в росте рынка, и задача ставится на основе того, что этот рост продлится сам по себе. Клиент продает эту идею аналитику, и он, находясь под влиянием, начинает искать зацепки, почему рынок будет расти, хотя никакой базы для этого нет.

Вспомните, как мы ищем информацию, когда уверены, что болезнь можно победить народными средствами: мы пишем «куда приложить подорожник, чтобы прошла гангрена». То есть изначальное убеждение ложное, и на его базе строятся неверные выводы, что вопрос лишь в том, куда прикладывать.

Критерии хорошего анализа

Гибкость

Дополнительная цель аналитика — найти только нужные данные, которые значимо влияют на проблему, и ответить, насколько необходимо изменить показатель для достижения цели. Чаще всего ответ упирается в ресурсы компании, которыми она располагает.

Ключевая компетенция аналитика — уметь смотреть на задачи под разным углом и забывать про свое мнение. Важна только статистика.

Основная проблема аналитика — отсутствие полного объема данных. В таких условиях ему необходимо обладать творческим подходом и определить, как использовать текущие данные для решения задачи.

Отличительная черта хорошего аналитика — генерация нескольких путей решения одной и той же задачи в условиях ограниченных данных.

Актуальность

Хороший анализ руководствуется бизнес-потребностью. Он не производится потому, что это интересно или весело. В случае с большим объемом данных легко втянуться в их разбор с непонятной целью. Конкретная бизнес-задача — прекрасный старт для аналитика.

Дальше задача трансформируется в подзадачи, например, бизнес-задача в маркетинговую, а затем в коммуникационную. Нет смысла анализировать насколько различные сегменты рынка чувствительны к цене продукта, если его доля составляет всего 2% от оборота.

Статистическая значимость

Аналитику нужно видеть, когда отклонение в показателях достаточно значимо, чтобы бить тревогу и срочно что-то править. Как определить эту значимость? Если параметр дает отклонение больше, чем в 10% — я считаю его математически значимым.

Отдельно отмечу исследования групп. Чаще всего, аналитику важно, что думает, делает и ожидает большинство выборки, а не вся аудитория. Всем угодить невозможно, и перфекционизм будет лишь увеличивать бюджет и срок анализа. Помните: чем больше размер выборки, тем меньше погрешность и выше вероятность того, что «правильный» ответ очень близок к тому, который был найден на основе исследования группы.

Объяснимость

Вас должны понимать люди, которые не обязаны знать технических деталей. Аналитику нужно уметь представлять и позиционировать свои результаты спонсорам проекта, далеким от технических вопросов.

Отчеты, которые нужно «переводить» с языка аналитика на русский — плохие отчеты.

Идеальный аналитик

Хороший специалист в области аналитики быстро считает в уме, разбирается в бизнес-моделях той сферы, в которой работает — это важно для понимания порядка затрат на внедрение гипотез и риск-анализа. Еще он легко устанавливает причинно-следственные связи между имеющимися данными, обладает деловой смекалкой, умеет четко выражать свои мысли и презентовать результат. И не существует.