[Перевод] Метрики против Опыта
Данная публикация — местами вольный перевод статьи за авторством Julie Zhuo, продукт-дизайнера в Facebook. Приятного чтения.
Если несколько десятилетий назад вы бы захотели сделать что-то уникальное, вы бы сели, сделали глубокий вдох, закрыли глаза и обратились бы с молитвой к оракулу под названием «интуиция».
Но, как наши предки когда-то укротили силу огня, так и мы научились использовать возможности метрики и аналитики. Мы уже не блуждаем во тьме, задаваясь вопросом «неужели хоть кто-то читает эти электронные письма, рассылаемые каждые два дня?». Мне даже интересно, сколько людей пыталось найти ответ на этот вопрос до этого момента, до наступления созданного всеми нами будущего. Ведь теперь мы просто погружаемся в сокровищницу чисел и выуживаем оттуда ответ.
Увы, несмотря на обретенный нами свет, в углах сохраняются экзистенциальные тени. Я слышал их в обсуждениях в залах офиса, в бормотании над стаканом после работы, видел набранными заглавными буквами в блуждающих по сети тредах обсуждений стиля:
«Делаем ли мы это просто для получения метрики?»
«Как мы можем сбалансировать полученные цифры и сделать при этом что-то достойное?»
И мой фаворит: «Вы, те, кто управляет данными, на самом деле заботитесь о пользователях и UX?»
Ох! Сильные слова и жгучие обвинения!
Может, хотите продуктивно поговорить о метриках и позитивном опыте? Вот что знаю я.
Не создавайте рамок в стиле «Метрики против Опыта»
Уподобляясь фанатам кое-каких крупнобюджетных блокбастеров про супергероев и начиная разговор с утверждения что что-то лучше, вы поступаете неправильно.
Сравнивать Метрику и Опыт тоже самое, что сравнивать «углеводы и здоровую пищу». Не стоит пользоваться подобными сравнениями, если хотите начать дискуссию о здоровом питании.
Возможность измерения дает вам понимание, что люди делают в вашем продукте. Если вам не хочется жить, уповая на судьбу, то обладание большим количеством информации — хорошая вещь. Конечно, вы должны быть в состоянии отличить, какая информация важна, а какая — нет, но утверждение, что сам факт наличия доступа к большему количеству информации, неверно и неоправданно. Метрики — это не зло.
Кроме того, если вы делаете что-то, что люди находят ценным, ваши действия должны отражаться на показателях роста и успешности продукта. Вы не можете утверждать, что ваше обновление привнесло что-то лучшее, если использование вашего продукта людьми никак не изменилось. И наоборот, если вы внесли какие-то изменения, которые привели к уменьшению аудитории, вы не можете «отмахнуться» от довольно ясных фактов и доказательств того, что вы что-то испортили.
И наконец, третья причина по которой метрики столь ценны в том, что они помогают сплотить команду вокруг чего-то ясного и ощутимого, благодаря чему люди могут видеть собственные результаты. С чисто материально-технической точки зрения трудно управлять 50 людьми с установкой «мы должны создать что-то крутое!». Конечно, каждый может махать кулаками после драки и кричать «Да! Мы сделали что-то удивительное! Это то, чего мы хотели добиться!», но когда это утро понедельника и команда А появляется в офисе и начинает расхваливать себя, команда Б может отреагировать примерно в таком стиле: «Гм, нет, это на самом деле кусок дерьма». Что вообще происходит? Как четко определить, что есть это самое «что-то крутое?».
Одним из способов решения этой проблемы является построение иерархической лестницы внутри коллектива. Вы можете обозначить конкретное лицо (или перечень лиц) в компании, чтобы те выступали «судьями», что есть «крутое», а что — нет. Если же вы предпочитаете работать без иерархии, то другой доступный вам метод — определение измеримой цели. «Сверхвысокое качество продукта означает, что 50% пользователей обратится к данной «фиче» еще раз в течении недели». Теперь команда А и команда Б точно знают, к чему они идут изо дня в день и как близко они находятся к этой цели.
Подводя итог можно сказать, что с таким подходом и UX и метрики полезны и не ограничены вечной борьбой друг с другом. И убедитесь, что вы придерживаетесь подобной точки зрения.
Плохие решения принимаются во имя «улучшения показателей»
Также, как вы можете объесться пончиками и назвать углеводы «плохими», так и статистические показатели могут использоваться для того, чтобы оправдать плохие решения. Происходит это потому, что не все, что вы можете измерить, реально стоит измерять. Также это может произойти, потому что вы не ознакомились с динамикой и просмотрели статистику за отдельно взятый период. Часто вам необходим целый набор метрик, чтобы получить действительно полную картину происходящего.
Если вы случайно выбрали неверный объект для получения метрики, опираясь на которую вы собираетесь двигаться дальше и развивать свой продукт, в конечном итоге вы можете получить на выходе что-то по-настоящему «вредное» в плане UX. Рассмотрим несколько примеров:
а) «Изначально рейтинг кликов по данной функции составлял 2%. Когда мы внесли изменения, то рейтинг поднялся до 5%! Ура!».
В чем тут проблема? Увеличение кликов по функционалу не говорит нам о том, что UX был на самом деле улучшен. А что если я поменял все ссылки на сайте на «нажмите здесь, чтобы заработать 250 баксов»? Черт подери, клики реально будут ползти вверх! Но в конце концов люди поймут, что я на самом деле не дам им эти 250 баксов и обозлятся на меня. Они перестанут переходить по моим ссылкам, удалят приложение и влепят мне 1 звезду в магазине с припиской «FUUUUUU». И да, именно заглавными буквами. Мой бизнес будет разрушен, моя жизнь превратится в дерьмо. Конец.
б) Люди привыкли тратить на мое приложение 5 минут. Теперь же, после запуска последней введенной функции, они стали тратить всего 3 минуты. Э-э-э, вы чего?
В чем проблема? Является ли время, затраченное на нахождение в вашем приложении на самом деле важным показателем, который стоит отслеживать? Все относительно. Если ваш целевой продукт — контент, то да, есть причины к тому, чтобы увеличивать время использования вашего продукта, ведь чем больше пользователь читает/смотрит/слушает, и чем больше времени он тратит, то соответственно, тем больше вероятность, что он найдет для себя что-то интересное и полезное. Но если же ваше приложение предназначено для электронной подписи документов, то такой подход неверен. Вам лучше стоит отслеживать какой-то иной показатель, например, количество реальных использований функционала вашего приложения, ведь оно помогает людям быстрее подписывать документацию. И, на самом деле, если человек сможет быстрее выполнить эту часть своей работы (подписать документ), то это ему явно понравится, т.е. сокращение времени использования приложения при сохранении количества выполняемых операций с течением времени позитивно отразится на вашем продукте.
с) «Изначально наше приложение с фотками котиков и мемами больше использовали в штате Иллинойс, но теперь у нас больше пользователей в штате Огайо».
Так в чем проблема? Конкретно это не имеет значение и не подобная информация не может являться метрикой, на которую следует обращать внимание и пытаться как-то на нее повлиять.
Конечно, есть важные вещи, которые нельзя легко и точно измерить
Если бы мы могли читать мысли пользователя, то можно было бы теоретически спроектировать идеальный UX. К сожалению, все мы не Джина Грей (телепат из вселенной X-Men, прим.), поэтому нам приходится измерять все, что можно, делать все, чтобы построить обоснованные предположения на тему того, что же нужно людям. Но объем измеряемых данных имеет свои пределы и нам важно помнить об этом. Просто статистика того, что люди делают в вашем продукте не может ничего сказать вам о таких вещах как:
Степень лояльности, ненависти или безразличия к вашему продукту из-за какой-то его конкретной специфической особенности;
Увеличивает ли или уменьшает сбор статистических данных доверие людей к вашему продукту с течением времени;
Как просто и легко ваш продукт воспринимается пользователями;
Как люди видят ваш продукт в сравнении с аналогичными предложениями на рынке;
Какие вещи пользователям хотелось бы изменить, добавить или оставить в этом виде, как есть;
Каков будет уровень интереса к вашему продукту с течением времени.
Ответы на некоторые из поставленных выше вопросов вы можете получить, проведя исследование качества, опросы и собеседования, но ни один из этих инструментов не является совершенным (помните же опросы с предсказаниями о Brexit?). И даже в тех случаях, когда мнение широких масс можно точно измерить (например, степень доверия бренду), трудно понять, какие именно действия и изменения привели к подобной реакции (причиной стал логотип? Или это сделал визуальный редизайн и именно из-за него отношение людей к моему бренду улучшилось?).
Не будучи в состоянии точно измерить вышеописанные позиции, метрики в этих случаях нас подводят. Обратите внимание на следующее:
Понимание цены сложности (Understanding the cost of complexity): каждый раз, когда вы добавляете в свое приложение новую функцию, вполне вероятно, что отслеживаемые вами метрики показывают положительную динамику (в конце концов, до этого момента никто не использовал функционал Х, а теперь все больше и больше людей обращаются к нему. И, кажется, что это не приводит к уменьшению использования функционала Y или Z, так что в целом это похоже на победу). Тем не менее, если вы продолжите добавлять новые функции, в какой то момент ваш продукт станет раздутым. Затем, внезапно, ваш конкурент пойдет вертикально вверх из-за того, что у него будет просто реализован функционал Q, который нравится части аудитории. Это парадокс выбора и размера затрат когнитивных усилий. И мы просто еще не поняли, как это точно измерить.
Понимание силы бренда (Understanding the power of brand): когда компании Apple или Nike выпускают на рынок свой новый продукт, многие склонны покупать его, даже не проводя какого-либо анализа, просто потому, что в прошлом у них был позитивный опыт, связанный с данным брендом. Но тоже самое не сработает, если на рынке появится какой-нибудь выскочка под брендом «Pear» (груша) или «Sike» с эквивалентным продуктом. На общем уровне мы все знаем и понимаем это. Тем не менее, нам трудно оценить силу бренда и превратить ее в число, которое мы сможем ежедневно отслеживать. Трудно понять, какое именно из тысячи действий повлияет на имидж компании, каковы будут выгоды и потери от от принятия того или иного решения.
Сила игры по-крупному (The power of big bets): нет, метрики не могут сказать вам, какое смелое действие нужно совершить, чтобы в будущем выиграть. Представьте себе 2008 год, когда смартфоны только начали появляться. Глядя на метрики своего сайта вы бы увидели крошечный кусочек трафика, приходящий с мобильных устройств. Вы бы, возможно, пришли к выводу, что в оптимизацию под мобильные устройства не стоит вкладывать сил, потому что это слишком небольшая часть вашей аудитории. Сегодня же мы пониманием дальновидность тех, кто сделал ставку именно на мобильный сегмент и кто сейчас пожинает лавры. Ни одна экспертиза текущего поведения пользователей не может точно сказать, в какую сторону вам нужно «прыгнуть». Стратегическое, долгосрочное планирование по-прежнему требует того же, чего и всегда: доверять своему нутру.
Некоторые правила чистоплотных метрик
Вот несколько из моих самых больших уроков, усвоенных в ходе поисков, благодаря которым можно выстроить более-менее дисциплинированную тактику постановки правильных целей к измерению.
Когда люди что-то выбирают на рынке, они подходят и смотрят. Не пытайтесь охватить огромное количество людей с помощью вашего продукта или конкретной функции (результаты могут быть искажены агрессивным продвижением). Лучше узнайте, коррелирует ли ваш продукт с чем-то ценным, ведь именно это и скажет вам, действительно ли люди, которым вы пытались понравиться, достаточно заинтересовались результатами вашего труда для того, чтобы вернуться и использовать его вновь.
Для оптимизации роста вам нужно понять вашу «воронку» (по всей видимости, имеется ввиду воронка продаж, прим.). Для того, чтобы люди стали постоянными пользователями вашего продукта, они должны пройти через кучу препятствий. Во-первых, они должны быть осведомлены о вашем продукте. Во-вторых, они должны быть достаточно заинтересованы, чтобы попробовать его. В-третьих, они должны пройти конверсию (загрузить приложение, заполнить форму, подтвердить адрес эл. почты и так далее). В-четвертых, они должны провести достаточно много действий в вашем продукте, чтобы понять, чем он может быть для них ценным. В-пятых, они должны запомнить его, чтобы вернуться. На каждом из этих этапов вы будете терять пользователей. Если вы можете отслеживать и измерять потери на каждом из них, у вас будет возможность сосредоточить свои усилия на том, чтобы сделать вашу «воронку» менее дырявой. Вы сможете выяснить, какие показатели являются действительно важными и сосредоточиться на них. Да, отслеживать все, что можно (потому что у вас есть такая возможность) очень заманчиво. У вас есть панель с цифрами и вам хотелось бы, чтобы все они были «зелеными». Но надо признать, что большинство из этих данных не имеют значения и что лишь их малая часть по-настоящему важна. Не тратьте время на разговоры о неважных вещах, игнорируя факт того, что некоторые реально важные показатели идут вверх или вниз.
Для выявления наилучшего показателя для отслеживания воспользуйтесь трюком «волшебная палочка». Просто спросите у себя: «если бы я мог взмахнуть волшебной палочкой, после чего я бы перестал что-либо знать о своей аудитории, что бы мне хотелось узнать в первую очередь для того, чтобы сделать мое приложение успешным?». Даже если ваш ответ не является тем, что можно подвергнуть измерению, это будет полезно и создаст отправную точку для работы.
Не просто принять метрики за цель, не понимая их. Цели, которые будут для вас и вашей команды главными, должны подкупать. Не ставьте номинальных задач. Вложите в них определенный смысл и представьте, на что они будут побуждать. Существуют ситуации, когда, вроде как, хорошее решение никак не влияет на метрику. С другой стороны, существуют ситуации, когда показатели растут, но было ли принятое решение на самом деле хорошим? Если да, то выполняет ли на самом деле метрика (или их набор) работу по отслеживанию чего-то реально нужного?
Также существуют данные, которые можно назвать «контрметрикой». Если вы смотрите на цифры, которые показывают хороший результат, спросите себя: «с какой еще информацией я могу ознакомиться, чтобы убедить себя в том, что эти результаты не настолько хороши, как кажутся?». И эта информация называется контрметрикой и каждая успешная метрика должна ее иметь. Например, посмотрите на рейтинг кликов, и на то, как быстро они показывают отскок. Или на числа продаж в сравнении с количеством возвратов или отмен. Гораздо лучше быть параноиком в плане интерпретации данных, ведь так можно быстро выловить ошибки и скорректировать собственную стратегию. Не попадитесь в ловушку предвзятости, где вы просто ищете сигналы для того, чтобы подтвердить собственные ожидания.
Используйте качественные исследования, чтобы получить ответы. Используйте количественные данные, которые говорят вам, что люди делали в приложении, в паре с качественными исследованиями, которые дают вам представление о людских эмоциях и чувствах. Проведите юзабилити-тесты, используйте фокус-группы, запустите опросы и узнайте, что стоит за поведением, которое вы наблюдаете.
