Сравнение систем аналитики мобильных приложений (Flurry vs Google Analytics vs Mixpanel vs Localytics)
24.04.2014 | Автор: Олег Якубенков 
Ниже в таблице приведено краткое сравнение следующих систем аналитики мобильных приложений: Flurry, Google Analytics, Mixpanel, Localytics. В статье вы найдете подробное сравнение с описанием особенностей и разных хаков каждой из систем. Сравнение проводилось в феврале 2014 года. Также я кратко описал ряд других систем аналитики для мобильных приложений: Kissmetrics, Яндекс Метрика для мобильных приложений, Game Analytics, Appsee, Capptain.
* в конце марта flurry выкатил в бете обычный нормальный отчет Retention
Идеальная система аналитики для мобильных приложений Я считаю, что для полноценной аналитики мобильного приложения, одной из целей которого является получение дохода, необходима система аналитики со следующим базовым функционалом:
Определение источников трафика (хотя бы трекинг рекламных систем) Отчеты по отправляемым ивентам с глубокой сегментацией Воронки Полноценный когортный анализ Идеальный инструмент кроме вышеперечисленного имеет следующий функционал:
Возможность А/Б тестирования в мобильном приложении Возможность отправлять таргетированные пуш уведомления Полноценное АПИ с возможностью выгружать сырые данные К сожалению, ни один из существующих на рынке инструментов не умеет делать все это сразу (хотя некоторые близки, но очень дороги), что создает ряд сложностей в аналитике мобильных приложений.
Системы аналитики мобильных приложений, которые не попали в обзор Я не рассматривал в сравнении системы, с которыми у меня не было реального опыта работы. Для полноты картины попробую вкратце пройтись по остальным инструментам.
Яндекс Метрика для мобильных приложений (http://appmetrika.yandex.ru/) С инструментом не работал, но по описаниям — это Flurry, но несколько лет назад. Может сегментировать аудиторию по географии, устройствам и так далее. Вроде все.
Kissmetrics (http://kissmetrics.com/) Замечательный инструмент, но все же более ориентированный на веб-аналитику SaaS сервисов и интернет магазинов. Несмотря на это, большинство запросов мобильной аналитики инструмент закрывает. Есть воронки, есть финансовая аналитика, есть хорошее АПИ. Я бы поставил Kissmetrics на одном уровне с Mixpanel и Localytics. Стоит примерно столько же (то есть много).
Kontagent и AppSalar (http://kontagent.com/, http://apsalar.com/) С Kontagent и AppSalar у меня не было возможности поработать. На основе описаний на сайте — мощные, но достаточно дорогие инструменты. В одном ряду с Mixpanel, Kissmetrics, Localytics. Если кто-то работает с этими инструментами, то буду благодарен за рассказ про них.
Capptain (http://www.capptain.com/) C Capptain я работал более года назад, когда занимался МЯКом и Навигатором в Яндексе. На тот момент инструмент был крайне неудобный. Не было возможности даже банально посмотреть аудиторию конкретного события в динамике по дням. Единственным бонусом была возможность отправлять таргетированные пуш сообщения пользователям приложения.
Насколько я знаю, за это время Capptain выкатили новую версию, но поработать с ней мне уже не довелось.
Game Analytics (http://www.gameanalytics.com/) Неплохой бесплатный инструмент. Есть воронки , есть сегментация (слабее, чем в Mixpanel), частично реализован когортный анализ. Из явных плюсов системы — Game Analytics лего интегрируются в популярные фреймворки для разработки игр (Unity3d, Corona) и является бесплатной.
Еще одним бонусом является возможность трекать источники трафика, но для этого необходимо отдельно вставить в ваше приложение SDK Mobile App Tracking и настроить интеграцию MAT и GameAnalytics. Необходимо учитывать, что MAT — платный инструмент, плюс с недавнего времени их исключили из программы Facebook Mobile Measurement Program. Так что трекать установки с фейсбука не получится.
Appsee (http://www.appsee.com/) Ключевой фичей этого инструмента является возможность записывать видео с сессиями ваших пользователей. Отзываются об инструменте положительно, хотя лично я плохо представляю, какую именно пользу подобный функционал несет разработчикам.
Подробное сравнение Flurry, Mixpanel, Localytics, Google Analytics Dau / Wau / Mau Самый стандартный функционал, есть во всех рассматриваемых системах мобильной аналитики.
Ивенты (события) Все рассмотренные системы мобильной аналитики позволяют отсылать любые ивенты с параметрами (Google Analytics не поддерживает параметры ивентов, но это обходится с помощью увеличения числа самих ивентов). Без функционала отправки событий система мобильной аналитики становится бесполезной.
Сегментация по параметрам ивентов Flurry
Flurry позволяет смотреть аудиторию определенного ивента (сколько пользователей и сколько раз отправляли этот ивент), но сегментация по параметрам сильно ограничена. Вы можете сегментировать только по версии приложения, либо по заранее заведенным «сегментам» (например, вы можете создать сегмент пользователей из какой-то страны), которые начинают считаться лишь с момента их создания. Количество сегментов, которые можно создать, ограничено.
Сегментировать ивент по параметрам, которые вы передаете с ним, формально присутствует, но пользоваться этим невозможно. Flurry позволяет лишь строить распределение по одному ивенту за весь выбранный период времени (нет разбивки хотя бы по дням/неделям/месяцам).
Mixpanel
Примером для подражания в функционале сегментации является Mixpanel. Интерфейс Mixpanel позволяет построить отчет по ивенту, а затем сегментировать его по значениям передаваемых параметров так, как вам захочется. Видео с описанием работы инструмента можно посмотреть по ссылке https://mixpanel.com/segmentation/.
Например, вы можете построить отчет по ивенту «New_user», выделить тех, кто пришел с платформы iOS, затем выделить тех, у кого iPhone 5S и построить распределение этих пользователей по стране.
Еще одной удобной фичей являются формулы. Можно построить график, используя сразу несколько разных метрик. Очень удобно — не приходится выгружать данные в Excel.
Localytics
Localytics позволяет строить отчеты по отдельным ивентам, сегментируя по любому параметру, а также фильтровать пользователей.
Функциональность инструмента аналогична Mixpanel, но лично мне интерфейс сегментаций в Mixpanel нравится больше (но это дело вкуса).
Google Analytics
В прошлом пункте я уже описывал сложности с отправкой событий в GA. По сути параметры ивентов в GA отсутствуют. Для замены параметров можно создать много разных ивентов, которые покроют ваши запросы. Но для игр, например, такой вариант плохо подходит.
Воронки Воронки — очень мощный и полезный инструмент. Воронка показывает то, как пользователи проходят через определенную последовательность ивентов. Она позволяет измерить конверсию на каждом из выбранных вами шагов, найти узкие места, а также определить то, как повлияли сделанные вами изменения на конверсию проблемных мест.
Flurry
Во флурри есть воронки, но работать с ними вовсе не так удобно, как в Mixpanel или Localytics.
После того, как вы создадите воронку, первые результаты вы увидите лишь спустя 24 часа. Кроме того, здесь нельзя использовать параметры событий для более точного определения шага воронки.
Преимуществом воронок во Flurry (чего нет в других системах) является возможность ограничения периода времени, когда должен произойти следующий шаг воронки.
Mixpanel
Ключевой особенностью и конкурентным преимуществом Mixpanel всегда являлись воронки (недавно Localytics в этом функционале догнал Mixpanel). Mixpanel позволяет делать воронки на любое количество шагов, за любой период времени (даже на старых данных, то есть ретроспективно). Любая воронка считается за несколько секунд.
Каждый из шагов воронки вы можете посмотреть более детально. Вам покажется конверсия этого шага в динамике за любой период времени.
Единственное ограничение заключается в том, что к выбранному ивенту на определенном шаге воронки можно задать лишь одно значение параметра (задать два параметра Mixpanel не позволяет), а также нет возможности поставить временное ограничение на то, когда должен был произойти следующий шаг (то, что есть во flurry).
Localytics
Функционал воронок Localytics сейчас практически такой же, как и у Mixpanel.
Google Analytics
По сути воронок в GA нет. Есть стандартные, знакомые всем из веб аналитики «цели», которые с помощью ряда очень хитрых манипуляций позволяют рассчитывать воронки.
Как это сделать описано здесь и здесь, но я рекомендую использовать подобные методы лишь в случае крайней необходимости. Всегда остается вопрос достоверности данных.
Retention Retention — одна из ключевых метрик для любого продукта. Она показывает как пользуются вашим продуктом во времени, то есть сколько пользователей, из тех, кто пришел в определенный месяц/неделю/день, продолжают использовать приложение спустя 1,2,3.. месяцев/недель/дней.
Для меня странно, почему почти все системы аналитики называют подобные инструменты когортным анализом. В реальности Retention является лишь одним частным случаем когортного анализа.
Flurry
Во Flurry есть отчет Rolling Retention, но это не совсем то, что принято понимать под отчетом Retention в классическом смысле. Я рекомендую вам внимательно прочитать описание этого инструмента, потому что я часто сталкиваюсь с тем, что даже профессиональные аналитики неправильно интерпретируют данные получаемые из этого отчета.
Объясню на примере.
Rolling Retention на 2 день на уровне 80% означает, что 80% ваших пользователей продолжают использовать ваше приложение спустя день после установки (либо во 2 день, либо в 3, либо в 4 и т.д.) Retention на 2 день на уровне 80% означает, что 80% ваших пользователей используют ваше приложение именно во 2 день после установки.
Комментарий от 1 апреля 2014 года: теперь по Flurry появился обычный Retention. Подробнее можно прочитать в их анонсе по ссылке.
Mixpanel, Localytics
Эти системы имеют описанный инструмент. Считают они именно Retention.
Когортный анализ Инструмент когортного анализа подразумевает возможность выделить группу пользователей и наблюдать за ее поведением в течение времени (считать retention, ltv и любые другие интересующие вас метрики).
Ни в одной из систем мобильной аналитики полноценного инструмента когортного анализа нет, но есть ряд хаков, который позволяют частично реализовать подобный функционал в Mixpanel и Localytics.
Советую прочитать мою статью про когортный анализ и его использование в маркетинге и продуктовой аналитике.
Localytics
Из частиц когортного анализа в Localytics есть возможность в отчете про ивенты и аудиторию сегментировать по неделе/месяцу, когда пользователи пришли в приложение. Также считается LTV в отчете про источники трафика, есть отчет Retention.
Mixpanel
В Mixpanel когортного анализа нет, но есть определенный хак, позволяющий реализовать его на очень примитивном уровне. Достаточно начать передавать, как один из глобальных параметров (то есть параметр, который передается во все ивенты) день/неделю/месяц, когда пользователь появился в приложении.
Подобный подход позволит вам в отчете сегментации выделять конкретную когорту по этой переменной.
Flurry
Во Flurry с когортным анализом все еще хуже. Единственный вариант — создавать сегменты пользователей на основе даты появления в приложении и затем фильтровать отчеты по этому сегменту.
А/Б тестирование А/Б тестирование в мобильных приложениях — очень полезный инстурмент, так как в отличии от веба цикл разработки для выхода новой версии существенно более длинный.
Подобным функционалом из всех описанных систем обладает только Localytics. Он появился в самой последней версии, поэтому возможности детально с ним ознакомиться у меня не было.
Есть хак, который позволяет построить собственное решение на оснвое Mixpanel. Про это вы можете прочитать в моей статье «Как просто реализовать А/Б тестирование в мобильном приложении?»
Определение источников трафика Определение источников трафика для мобильных приложений — одна из наиболее сложных задач. Ключевая проблема кроется в том, что между рекламной ссылкой и открытием приложения находится магазин приложений (Appstore или Google Play).
Google Play уже решил эту проблему и позволяет пробрасывать специальные utm метки для отслеживания источников трафика. Apple Appstore все еще является невидимой зоной, что создает большие трудности в определении источников трафика.
Из рассматриваемых систем аналитики функционал определения источников трафика присутствует во Flurry и в Localytics.
Если с Android и там, и там никаких проблем нет, то с iOS есть определенные ограничения (например, Flurry и Localytics работает не со всеми рекламными мобильными сетками, Flurry не работает с Facebook).
C Facebook в плане определения его, как источника трафика, все сложно. Список компаний, которые участвуют в Facebook Mobile Measurement Program невелик: Adeven, Adways, AD-X, AppsFlyer, Apsalar, Cyberagent, CuberZ, Kochava, Localytics, Septeni, Trademob. Только они поддерживают возможность определения пользователей, которые пришли с facebook.
Определение источников трафика в iOS остается одной из ключевых болевых точек, особенно на фоне постоянно растущей (и уже очень большой) стоимости установки приложения.
Пуш нотификации Я считаю, что аналитика должна быть проактивной. Один из способов строить именно такую аналитику предоставляет возможность отправки пуш нотификаций своим пользователям.
Например, вы можете определить тех, кто не продлил подписку на ваш сервис в наступившем месяце и предложить им скидку или что-то еще, оповестив их об этом с помощью пуш нотификации.
Подобным функционалом из рассматриваемых систем обладают Mixpanel и Localytics.
Финансовые показатели Одна из ключевых метрик, за которыми вы должны следить в вашем приложении — это LTV (Life Time Value) или ARPU (Average Revenue Per User). Также часто бывает удобно быстро окинуть взглядом метрики вроде ARPDAU, ARPPU, средняя сумма покупки и так далее.
Из описанных систем мобильной аналитики подобный функционал (пусть и в несколько ограниченном виде) обладают Mixpanel и Localytics.
Несколько слов по поводу работы с финансовыми данными в системах аналитики мобильных приложений. Финансовые показатели — это очень важные данные, на основе которых принимаются основные решения. Ввиду большого количество уязвимостей мобильных ОС часть пользователей ломают приложения и получают платные возможности бесплатно. При этом в вашу систему статистики подобные пользователи запишутся как те, кто совершил покупку. Я настоятельно рекомендую делать серверную верификацию всех покупок, совершаемых в приложении, и лишь после этого записывать их в систему статистики. В противном случае один недобросовестный пользователь испортит все ваши данные и сделает бессмысленной всю аналитику (представьте, что в анализируемую когорту попадет читер, который «потратил» в приложении 5000$).
Экспорт данных, АПИ Возможность получить основные метрики и сырые данные через АПИ — это важная составляющая любой системы аналитики. Во-первых, это позволяет автоматизировать часть работы, а также позволяет проводить при необходимости более глубокий анализ, работая с сырыми данными.
Flurry
Flurry не хранит сырые данные и позволяет получать через АПИ лишь стандартные посчитанные метрики, которые отображаются в интерфейсе системы.
Mixpanel
Сервис сам целиком построен на основе собственного АПИ, что делает работу с ним крайне удобной. Есть возможность выгружать сырые данные — они хранятся за все время поставки данных.
С АПИ двух других систем я не работал и не разбирался. Буду рад, если кто-то поделится опытом в комментариях.
Стоимость Mixpanel и Localytics обладают рядом очень крутых фич и неоспоримых преимуществ, о которых шла речь выше, но к сожалению эти инструменты очень дорогие (цены Mixpanel). Mixpanel стоит 2000$ в месяц за 20 млн ивентов (примерно такое количество данных генерит игра с DAU в 100 тысяч пользователей).
Неоспоримым преимуществом Flurry и Google Analytics является то, что они бесплатные.
В заключении В настоящий момент существует множество различных систем мобильной аналитики. Учитывая их большое количество и сложность в тестировании (разобраться с SDK, вкрутить в приложение, выложиться в стор), попробовать их все не представляется возможным. Я надеюсь, что этот обзор позволит вам выбрать ту систему, которая максимально подходит для вас.
Я допускаю, что я мог упустить некоторые тонкости при описании систем аналитики. Если вы найдете ошибку, то сообщите о ней мне. Если статья была для вас полезна, то расскажите о ней. Спасибо!
Кстати, что вы используете для аналитики в вашем мобильном приложении? Что нравится, что не нравится, чего не хватает?
Полный текст статьи читайте на CMS Magazine
