6 экспериментов от Skyscanner, которые принесли рост мобильному приложению
Катерина Тониоло (Caterina Toniolo), Principal Growth Manager в Skyscanner, рассказала на Epic Growth Conference о том, как команда проверяла гипотезы и проводила эксперименты, которые кратно увеличили рост мобильного приложения.
Сайт Skyscanner посещает 60 млн. уникальных пользователей в месяц, а приложение скачали более 70 млн. человек. Продукт позволяет искать авиабилеты на различных устройствах, не только десктопных и мобильных, но и через Cortana, Alexa, Apple Watch.
Главные сложности на пути к mobile-first стратегии
Перед тем, как запустить эксперименты, необходимо определиться с главной метрикой в продукте. Для Skyscanner «путеводная метрика» — Total Transaction Value или общая цена сделки сроком в 12 месяцев. Для команды это значит, что необходимо увеличить общую стоимость транзакций за ближайшие 12 месяцев.
В своей практике Skyscanner использует AARRR маркетинговую модель, в которую входят так называемые «пиратские» метрики: привлечение, активация, удержание, рефералы и выручка. Удержание (retention), как и для явного большинства компаний, — важнейшая метрика, которая показывает процент пользователей, которые возвращаются в продукт. Команда роста Skyscanner максимально сфокусирована на mobile-first стратегии, потому что все больше пользователей travel вертикали используют мобильные приложения, а не ноутбуки, для планирования своих путешествий.
Однако на пути к mobile-first стратегии много препятствий. В случае Skyscanner, препятствия заключены в самом продукте, который изначально разрабатывался как веб-сайт, а не как приложение. Другие нерешенные вопросы — кроссплатформенность, Halo эффект, атрибуция, диплинки и работа с данными.
Кроссплатформенность и гало-эффект. В первую очередь перед запуском тестов, продактам необходимо рассчитать показатель LTV (life-time value, пожизненная ценность клиента). Для этого необходимо понимать поведение пользователей на различных устройствах. Но, если авторизация не обязательна, как в Skyscanner, это становится сложной задачей.
Другой важный момент — понимание гало-эффекта, и как он влияет на деньги компании, а именно, сколько тратится на привлечение пользователей в приложение и на увеличение органического привлечения. Для этого чрезвычайно важно понимать общее поведение пользователей и показатель LTV.
Атрибуция. Самая популярная модель атрибуции — last-click, атрибуция по последнему клику, но работает она далеко не для всех компаний.
Например, Skyscanner достиг такого масштаба, при котором атрибуция по последнему клику перестала работать. Skyscanner низкомаржинальный продукт и компания старается выжать максимум из ресурсом. Поэтому команда определила для себя модель мультитач-атрибуции, которая позволяет кратно увеличить масштабы роста.
Диплинки. Крайне важно предоставить пользователю максимальный комфорт как при взаимодействии с сайтом или приложением, так и при переходе между этими платформами. Но работать с диплинками не так просто, как с обычными веб-ссылками.
Данные. С одной стороны, есть рынок приложений, который дает различные источники и полезные типы данных. С другой, команда должна приложить огромные усилия, чтобы все обработать и убедиться, что это не разобщенные данные.
Тестирование гипотез и эксперименты роста в Skyscanner
В любой компании рост всегда должен быть поставлен на практику. Чем больше вы тестируете, тем больше открываете для себя возможностей вырасти.
Эксперимент с гало-эффектом
Гипотеза: Если на индийском рынке увеличить количество платных установок в день, количество органических установок тоже вырастет.
Метрики: Органические загрузки.
Результат: Как итог 5 итераций теста — удалось добиться оптимального эффекта ореола: одна органическая установка на 1.6 платных установок. Команда тестировала разные варианты расходов в день, чтобы найти тот оптимальный. Начали с 500 платных установок в день, потребовалось пять платных установок, чтобы одна стала органической. Но после того, как был найден оптимальный уровень в 2 400 платных установок, коэффициент прироста закрепился на уровне 1.6.
Эксперимент по оптимизации приложения в App Store
Эксперимент Skyscanner про возможности роста на российском рынке.
Гипотеза #1: Если в iTunes Connect добавить релевантные ключевые слова, то можно увеличить рейтинг этих ключевых слов и в App Store.
Гипотеза #2: Ключевые слова в описании приложения в App Store помогут увеличить рейтинг приложения и количество загрузок из России.
Мы проанализировали описание приложения на русском языке и выяснили, что из доступных 100 символов, мы использовали только 95. Одно из слов составляло целых 12 символов (14% от всей длины описания!). Мы решили использовать два слова вместо одного.
Использование прилагательных — еще один потенциал для роста. Вдобавок, мы начала учитывать ключевые слова, которые автоматически предлагались на iOS.
В итоге команда создала новый список ключевых слов. Основным показателем успеха стало увеличение рейтинга, вторичной метрикой были органические загрузки. Согласно гипотезе, успехом станет увеличение рейтинга путем замены как минимум 50% ключевых слов.
Метод: Skyscanner применил двухвыборочный t-тест и использовал два разных набора данных с уровнем достоверности в 95%, чтобы сравнить их между собой и узнать, какой победит. Первая группа изучала средний рейтинг за 3 месяца до начала эксперимента. Вторая группа изучала данные, полученные в ходе эксперимента, спустя один месяц после теста.
Результат: Команда улучшила рейтинг более 50% ключевых слов.
В результате мы получили еще один вывод: возможности для оптимизации повсюду, даже там, откуда не ждешь.
Совет: Делайте двухвыборочные t-тесты.
Эксперимент с оптимизацией приложения в Google Play
Гипотеза: Если разместить флаг РФ на значке приложения в Google Play, это увеличит количество органических установок из России.
Команда Skyscanner создала нулевую гипотезу — это такая гипотеза, которую исследователь пытается опровергнуть, доказать обратное. Чтобы опровергнуть гипотезу Skyscanner установил минимальный обнаруживаемый эффект — через 14 дней после запуска теста увидеть увеличение органических установок на 4,25%.
Результат: С флагом на иконке в Google Play количество органических установок локальной версии приложения снизилось на 4,8%. Мы потерпели неудачу, но вынесли важный урок.
Эксперимент с платной оптимизацией для привлечения пользователей
Гипотеза: С помощью платной оптимизации можно повысить конверсию.
Используя анонимные ID в мобильном трекере AppsFlyer, мы отслеживали конверсию в приложении и оптимизировали расходы на те ID, которые показывали лучший перформанс.
Метрика: рост ROI.
Результат: В первой итерации ROI вырос на 3%. В результате дальнейшей оптимизации расходов на анонимный ID с самыми результативными показателями, ROI увеличился еще на 66%. Этот эксперимент был признан одним из самых эффективных в Skyscanner и теперь практикуется каждый месяц.
Эксперимент с оптимизацией рейтинга
Гипотеза: Если предложить пользователям ставить рейтинг прямо в приложении, количество рейтингов в App Store вырастет.
В мобильном приложении Skyscanner оставить отзыв можно было за два шага. На первом этапе пользователей спрашивали, нравится ли им приложение. Тем, кто отвечал положительно, предлагали поставить звездочки в App Store. Здесь команда решила убрать первый шаг и направить пользователей сразу в App Store. Целью эксперимента было увеличение количества отзывов и органических загрузок. До эксперимента средний рейтинг составлял 4,36 балла.
Метрика: общее количество отзывов, средний рейтинг звезд в приложении и количество органических загрузок.
Результат: Средний рейтинг не изменился, зато количество отзывов увеличилось на 48%. После этого решено было повторить тест в масштабах всего мобильного продукта Skyscanner.
Мы также заметили увеличение органических загрузок, но прямую связь с экспериментом не нашли.
Эксперимент с взаимодействием и вовлечением
Гипотеза: Если разместить в поисковой строке направление «Звездные войны», коэффициент вовлечения пользователей увеличится.
Эксперимент проводился в течение одного дня, на Пасху. В строке поиска вместе с рекомендациями и выгодными предложениями были добавлены планеты из вселенной «Звездных войн» с выдуманными описаниями, иллюстрациями и ценами.
Результат: Уровень взаимодействия со строкой для поиска увеличился на 27.5%. Кроме того, были выявлены возможности роста с этим элементом.
Больше докладов по продуктовому росту в телеграм-канале @epicgrowth.
© vc.ru
