В каких командах и проектах Wildberries есть задачи для аналитиков
Привет, Хабр! Меня зовут Миша Климушкин, я руковожу аналитикой Рекомендаций и Data Science в Wildberries: отвечаю за метрики, цели и точки роста рекомендательных и других ML-решений.
В статье расскажу про Аналитику в компании: в каких командах она нужна и с какими задачами сталкивается.
Аналитики разные нужны, аналитики разные важны…
Если спросить нейросеть DeepSeek, какие бывают аналитики, то будет довольно большое количество вариантов.
Но разделение специалистов довольно условное, в компаниях могут выделяться разные роли аналитиков или практиковаться совмещение нескольких ролей.
Сконцентрируемся на том, что общего в разных направлениях аналитики и с какими задачами сталкиваются аналитики в Wildberries.
Что общего у всех аналитиков?
ИМХО, это сочетание двух видов скиллов, необходимых каждому аналитику.
С одной стороны, продуктовое мышление, понимание бизнеса/продукта (в идеале на уровне product-менеджера). Аналитику часто приходится решать задачи без ТЗ, отвечать на открытые вопросы. Для этого ему нужно твердо понимать цели бизнеса, KPI-метрики продукта, какие проблемы решает продукт, образ результата, ведь его аналитика должна быть направлена на достижение этих целей.
С другой стороны, специалисту нужны сильные аналитические и технические скиллы: аналитический кодинг, работа с большим объемом данных, статистика, проведение и анализ A/B, визуализация данных, формализация задачи, постановка ТЗ (разработчикам, ассесорам).
Особенно важен критический взгляд на результаты. Важно помнить, что задача аналитики — это не выдавать желаемое за действительное, а изучить полученные результаты и сделать объективные выводы, тем самым помогая команде двигаться в правильную сторону.
Аналитика в Wildberries
Перейдем к тому, как устроена аналитика в Wildberries: расскажу про некоторые отделы компании и задачи, которые решают аналитики. На самом деле, многие задачи пересекаются из отдела в отдел, поэтому я не буду повторяться и постараюсь в каждом кусочке рассказать про какую-то особенность или какую-то интересную задачу, с которыми сталкиваются аналитики.
Базовое качество: Поиск и Рекомендации
К базовому качеству относятся задачи развития ML-решений. Самые очевидное приложение ML — это поиск и рекомендации Wildberries. По смыслу эти продукты очень близки друг другу. Их задача: построить выдачу, релевантную запросу. Запрос может быть разным: текстовый запрос = классический поиск, картинка = поиск по картинке, карточка товара = рекомендации альтернативных и сопутствующих товаров, пользователь = лента персональных рекомендации.
Практически все изменения, которые выкатываются в прод, проходят через A/B-тестирование. Здесь задача аналитика — проводить A/B-эксперименты и по их результатам принимать новые модели поиска/рекомендаций. В Wildberries есть свой сервис для проведения A/B, которая позволяет завести на нужный срез пользователей эксперимент, а также обсчитать метрики и статистическую значимость изменений.
Связанная задача — построение иерархии метрик. Что это такое? Как правило, бизнес может задать команде верхнеуровневую метрику, которую нужно оптимизировать. Например, выручку или оборот компании. Но небольшими изменениями довольно сложно значимо сдвинуть верхнеуровневую метрику. Из этого вытекает потребность в построении иерархии прокси-метрик, которые будут применимы к определенному типу изменений на конкретной странице приложения/сайта. Для этих изменений прокси-метрики будут хорошо скоррелированы с верхнеуровневой, но при этом будут достаточно чувствительными, чтобы принимать небольшие изменения.
К примеру, для рекомендации относительно редкое событие — покупки товара — можно проксировать более частотными сигналами: кликами, глубиной просмотра ленты и другими сигналами о том, что предлагаемая лента была полезна или не полезна пользователю.
Важно отметить, что в иерархии метрик, могут быть не только онлайн-метрики (основанные на пользовательском поведении), но и офлайн-метрики (основанные на асессорских разметках). В Wildberries есть своя команда асессоров, размечающая данные по инструкциям для разных задач. Например, на основе поискового запроса и информации о товаре, асессоры могут оценить по N-градациям, насколько этот товар релевантен данному запросу. Такие офлайн-метрики позволяют создать довольно чувствительный прибор для замера качества поиска и рекомендаций, при этом сделать его довольно объективным.
Еще одной немаловажной задачей является поиск точек роста — слабых мест модели (где она чаще ошибается, не эффективно работает). Это могут быть срезы запросов; свойства выдачи, которые важны для пользователя; другие сигналы, которые модель не учитывает. Такой подход позволяет ML-команде получать инсайты, предсказуемо и быстро развивать базовое качество продукта.
Приложение и сайт
У каждой страницы приложения и сайта есть продуктовая команда, которая отвечает за ее состав, визуальное представление блоков. Эти команды, по сути, занимаются улучшением пользовательского взаимодействия с продуктом. Стоит отметить, что у Wildberries есть несколько сервисов помимо маркетплейса: Wildberries Цифровой, Wildberries Travel и др. Они также требуют аналитического участия и продуктового развития.
Одна из таких базовых задач, которые делают продуктовые аналитики приложения/сайта — это построение CJM (customer journey map). Цель этого упражнения заключается в визуализации, построении карты передвижений пользователя сервисом: какие у пользователя точки входа, с какой страницы на какую переходит, какие у пользователей есть паттерны. Это позволяет увидеть основные потребности пользователей, выделять и оптимизировать воронки пользовательских сценариев от входа до целевого действия, находить точки роста (в какой части воронки мы чаще теряем пользователя, что мы можем сделать, чтобы расширить эту воронку и больше пользователей доходило до целевого действия).
Частая задача аналитики приложений — приемка изменений в приложении. Если в базовом качестве можно построить иерархию метрик и довольно долго ее использовать как приемочную, то при приемке новых блоков или новых страниц в приложении, как правило, требуется более глубокая, детальная аналитика того, правда ли это изменение похоже на улучшение. Это связано с тем, что визуальные изменения приводят к изменению CJM пользователей: люди начинают по-другому пользоваться сайтом/приложением, у них меняется траектория движения. Поэтому аналитику нужно понять эффект в целом на продукт, а не на конкретный элемент на странице.
Также в задачу аналитиков приложения и сайта входит разметка событий на сайте/приложении. Это постановка ТЗ для разработчиков на логирование того, что мы показывали пользователю и какие действия пользователи делают на сайте. На основе логов делается вся аналитика, поэтому аналитики являются основными заказчиками этого процесса.
Ассортимент: качество карточки, отзывы, полнота ассортимента
Под капотом Wildberries лежит большая база товаров от разных продавцов. И по этим товарам собирается большое количество мета-информации: описание, рейтинг, отзывы, вопросы и комментарии. С этим связана объемная аналитическая задача.
Оценка качества описания и отзывов. И то и другое является UGC, потенциально могут содержать в себе любой текст и контент в целом. Важно следить за тем, чтобы контент карточки товара был максимально полезен потенциальным покупателям, поэтому есть потребность в контроле за тем, что пишет продавец (не обманывает ли покупателей) и что пишут покупатели (фрод и неприемлемый контент).
Другая задача в этом направлении — мэтчинг товаров. На маркетплейсе один и тот же товар может продаваться разными продавцами, поэтому важно уметь с высокой полнотой и точностью детектить, какие предложения представляют один и тот же товар. Мэтчинг используется как отдельная функциональность («предложение других продавцов»). Также много других сервисов, завязаны на эти знания. Например, разнообразие выдачи, исключающее дубликаты товаров.
Покупатели, пользуясь несколькими приложениями и сайтами для покупки товаров, постоянно сравнивают цены и ассортимент. Поэтому одно из важных направлений аналитической работы — исследование ассортимента конкурентов и сравнение с нашим. Необходимо понимать, у кого в каких категориях товаров ассортимент шире, насколько конкурентные цены на Wildberries. Это помогает находить и лечить слабые места в ассортименте (например, предложение скидок на товары, привлечение новых партнеров), а также понимать какие товары выгоднее маркетировать.
Маркетинговая аналитика, пуши
Продуктовые аналитики в этом направлении занимаются оценкой LTV пользователя, а также эффективности рекламных кампаний. И это довольно не тривиальная задача. Рассмотрим продвижение с помощью пушей, как чуть более простой процесс:
Пользователь получил уведомление, пришел на сайт, купил товар. Можно ли считать, что это покупка чистый аплифт в GVM? На самом деле, человек мог и так планировать купить этот товар, и без уведомления зайти в приложение и сделать заказ, а с помощью пушей мы слегка ускорили этот процесс.
Пользователь перешел по пуш-уведомлению, ничего не купил, но через два дня вернулся в приложение самостоятельно и купил тот же товар или товар в той же категории. Можно ли говорить, что эта покупка произошла благодаря пушам?
Здесь подключаются маркетинговые аналитики, которые отвечают на подобные вопросы, пробуют выделить адекватный способ ассоциации покупок с пуш-уведомлениями.
Дополнительная сложность задачи связана с оценкой отрицательного эффекта от пуш-рассылок: снижение лояльности к сервису, «баннерная слепота» на уведомления, все, что приведет к уменьшению покупок и активных пользователей. И как правило этот эффект накопительный и долгосрочный. И задача аналитика: суметь сопоставить мгновенный положительный эффект от пуша (например, рост заказов) и долгосрочный отрицательный эффект.
Маркетинговая аналитика, пуши
Взаимодействие с Wildberries не заканчивается в приложении: после того, как человек сделал заказ, перед нами встает задача по доставке товара в указанный ПВЗ. Оптимизацией этого процесса занимается команда логистики, где аналитики вместе с DS разрабатывают метрики, которые можно оптимизировать с помощью ML-алгоритмов.
Это довольно сложная задача: нужно минимизировать траты на доставку каждого отдельного товара, не выходя за установленные сроки. Аналитиками доказано, что задержка доставки в разы увеличивает вероятность отказа от выкупа товара = траты на обратную доставку товара на склад. А помимо срока доставки есть еще и ограничение вместимости складов, транспорта и другие аспекты.
А на самом деле, оптимизация в логистике начинается еще до момента заказа товара: команда DS строит рекомендации для продавцов по тому, какой товар, в каком количестве, на какой склад стоит отправить (на основе прогнозирования мест, откуда будут заказы и откуда будет удобнее везти товары). Это полезно:
для продавцов, которые заранее понимают, сколько товаров и куда отправить
для покупателей, которые быстрее получат товар
для компании в виде выгоды в снижении логистических расходов.
Маркетинговая аналитика, пуши
Wildberries — это маркетплейс, и у него два основных контрагента: пользователи (покупатели) и партнеры (продавцы). Мы предоставляем сервисы для каждого из них: например, для продавцов — Кабинет продавца, где есть возможность управления товарами, просмотра финансовых показателей по продажам и другие интересные функции.
Развитие Кабинета продавца такая же важная задача продуктовой аналитики, как и работа над сайтом/приложением для пользователей. Во взаимодействии с продавцами важными инструментами является: личное общение, опросы и UX-исследования, которые становятся источниками приоритетов и новых идей по развитию Кабинета.
Также одной из важных фичей для продавцов является возможность влиять на свою выдачу: дополнительные услуги позволяют продавцам привлечь больше внимания к своим товарам. В этом случае с одной стороны необходимо работать над тем, чтобы прибыль продавца была выше трат на продвижение; с другой — показывать пользователям Wildberries только релевантные рекомендации и общую поисковую выдачу товаров. Соответственно, перед нами стоит аналитическая задача: найти необходимый баланс, чтобы каждая аудитория была довольна своим опытом взаимодействия с платформой.
Внутренние сервисы: Логи, A/B-платформа, Маркап-платформа
В компании работает много людей и для них развивается множество внутренних сервисов: например, A/B-платформа, на которой запускаются все A/B-тесты; Маркап-платформа, для работы с асессорами; и другие решения, которые позволяют автоматизировать рабочие процессы.
Внутри всех этих продуктов требуются аналитики (как правило, системные). Благодаря тому, что потребители этих сервисов известны, эффективный способ развития продуктов — это интервьюирование пользователей, написание ТЗ, приоритизация задач и организация работы через прямое взаимодействие с сотрудниками.
Хочется отметить A/B-платформу, которая подразумевает большое количество работы со статистикой. Именно поэтому сюда обычно ищут аналитиков с хорошим математическим бэкграундом, которые смогут, например, продумать более оптимальную сплителку пользователей, которая будет устойчива к смещениям выборок. Также на платформе реализованы несколько сотен метрик для разных функциональностей и страниц приложения. Здесь необходимо разрабатывать методы оценки значимости изменений обладающих различными распределениями и свойствами метрик, которые будут оптимально работать.
Вместо заключения
Я описал только несколько команд и задач аналитики, на самом деле в компании их гораздо больше: финансовая и рыночная аналитика, антифрод, HR и многие другие. Здесь хочется отметить общую тенденцию: аналитика является одним из самых востребованных направлений в IT-сфере, которое можно найти во многих командах любой крупной IT-компании.
По моему мнению, аналитика — это не только дашборды и метрики. В первую очередь это выводы, которые по ним делаются. Поэтому повторюсь, критическое мышление и объективность — это, на мой взгляд, самый важный аналитический скилл. Трудно сказать, как его развивать, кроме как на своем опыте работы с данными. Наверно, должно быть желание докопаться до истины. У меня это началось с любви с математическим парадоксам (Симпсона, Монти-Холла и др.). А как у вас?
Минута рекламы: мы растем и беремся за новые вызовы. Наши аналитические вакансии ищите на career.wb, а возможности для развития и практики — на стажировках Техношколы Wildberries:)
Кстати, больше о том, как при помощи ML и других технологий мы делаем маркетплейс лучше для продавцов и покупателей, рассказываем в Telegram-канале @wb_space. Там же делимся анонсами и полезными материалами от экспертов.
