Детальный разбор двух сложных тестовых заданий на роль UX-исследователя
Каждый год мы набираем стажёров в отдел UX-исследований Авито. В этом году стажировка была очень масштабной:
4 наставника стажёров.
Более 130 тестовых работ — превзошли результат прошлого года больше чем в 2 раза.
3 объёмных задания в каждом тестовом.
Также в этом году мы немного изменили ожидания от стажировки. Ключевое отличие было в том, что мы хотели найти ребят, которые почти сразу смогут решать несложные рабочие задачи. Наши цели на стажировку были следующими:
Подготовить кадровый резерв.
Перенести на стажёра часть нагрузки в командах, где работает один исследователь.
Не учить с нуля, а менторить новичков с опытом.
Мы собрали все выполненные кандидатами тестовые задания в один файлик и прописали «golden path» решения тестового. Дальше синхронизировались между собой, чтобы оценивать всех кандидатов максимально равномерно и начали работать с получившейся таблицей-матрицей:
Каждое задание было поделено на блоки, в каждом блоке были моменты, за которые мы ставили баллы от 0 до 3. Кандидаты могли получить максимальное количество баллов за задание, если делали его очень приближенно к нашему «golden path».
Данная статья посвящена как раз разбору этого «золотого пути». Она будет полезна как всем, кто подавался на стажировку и пытался сделать наши тестовые, так и начинающим исследователям, которые смогут проверить свои знания на примере двух сложных кейсов.
Содержание статьи
Основные ошибки кандидатов.
Задание 1. Разбор проведённого интервью.
Задание 2. Поиск причин низкой конверсии в запущенном продукте.
Задание 3. На что мы смотрели в опыте кандидатов.
Три примера лучших работ.
Заключение.
Основные ошибки кандидатов
Перед тем как перейти к основной части, кратко разберём основные ошибки, которые допускали кандидаты.
Прислать тестовое в 23:59 в последний день. Мы проверяем тестовые задания по мере поступления. Когда их приходит больше 100 штук, на последние работы остаётся чуть меньше сил. Поэтому, даже с этой точки зрения, опасно посылать своё задание в самом конце.
Также тестовое, высланное в последний день, чаще всего, содержит больше ошибок. Это происходит потому, что вы торопитесь, не успели что-то сделать или обнаружили часть задания, которая требует больше времени на проработку. Задания, сделанные в последний момент, как правило, немного хуже, чем если кандидат начинает делать их заранее и уделяет им внимание равномерно на протяжении всего времени.
Кандидатов, которые присылают тестовое после оговорённого момента, мы рассматриваем очень редко, потому что считаем, что такой же подход будет у них и в работе. И причина «неуспевания» не столь важна.
Нет доступа к тестовому заданию. Раз десять мы столкнулись с проблемой, что кандидаты не только не давали изначально доступа к тестовому заданию, но и не отвечали на запрос о доступе проверяющим экспертам. В итоге одна или две работы так и остались непроверенными. Непонятно, что именно произошло. Пожалуйста, открывайте доступ сразу, когда отправляете потенциальному работодателю ссылку на тестовое, чтобы ему не приходилось сидеть и ждать.
Небрежное оформление. Небрежно оформленные тестовые сложнее проверять. А вот аккуратно оформленные работы сразу располагают к себе.
Пример хорошего оформления
Несделанная часть задания. В нашем тестовом было три задания, и в каждом из них были блоки, на которые мы хотели получить ответы кандидатов. Какой-то процент кандидатов либо не сделали одно задание, либо не провели интервью, которое было частью задачи. Кандидаты писали, что у них нет времени или нет респондентов, и просто оставили поле для интервью пустым.
Мы смотрим на решение в целом: нам кажется, что это показатель подхода к работе и желания попасть на стажировку. Поэтому даже хорошим тестовым с пропущенными заданиям мы сильно снижали баллы.
Были кандидаты, которые ставили под вопрос то или иное задание: говорили, что вопросы странные, на них не стоит отвечать, и что какие-то гипотезы не требуют проверки. Возможно, всем хочется выглядеть хорошими экспертами. Но если вы откликаетесь на стажёрскую программу, то, наверное, не стоит показывать, что вы умнее ребят, которые придумали тестовые.
Лучше обдумать задачи и попытаться дать на них подробный конструктивный ответ, даже если вы считаете, что часть задания непонятна и плохо сформулирована. Не стоит писать просто «это странное задание, и я не считаю, что его необходимо делать».
Мнение, что тестовые придуманы, чтобы бесплатно сделать работу. Это не ошибка, а скорее заблуждение. Мы слышали отзыв, что даём задание, чтобы кандидат бесплатно провёл интервью и составил методологию, а потом используем результаты на безвозмездной основе.
Наверное, такое бывает. Но поверьте: не все компании дают тестовые задания для этого. Мы так не делаем, потому что иначе выйдет двойная работа. Гораздо проще проверять то, что уже проверено нами: так мы не тратим время на дополнительный анализ нового материала, а только оцениваем, насколько задание кандидата совпадает с нашими выводами.
Очень тяжело найти хорошего стажёра, не посмотрев на него через призму небольших проектов или тестовых заданий. Нам трудно найти в мире исследователей человека, который покажет портфолио или сможет иначе подтвердить свой опыт, не выполняя тестового или боевого проекта.
А теперь перейдём к самим заданиям для кандидатов и идеальному пути их решения.
Задание 1. Анализ проведённого интервью
В первом задании кандидатам нужно было проанализировать интервью, которое мы провели, когда исследовали молодое поколение и изучали его опыт продаж в социальных сетях. Мы намеренно взяли довольно сложный кейс.
Мы сделали ранний прототип интерфейса групп на Авито и пригласили респондентов на тесты. На тестах проверяли, соответствует ли решение проблеме, которую мы вскрыли на предыдущих интервью. Кандидатам на стажировку мы дали видео встречи с респонденткой, где был кусочек интервью и кусочек проверки прототипа. Задачей кандидатов было посмотреть запись и написать свои выводы.
Посмотреть первое задание
Предыстория. Мы изучаем молодое поколение Z (от 14 до 24 лет), чтобы делать наш сервис более удобным для них. Недавно мы провели серию интервью и поняли, что покупка у незнакомого человека воспринимается поколением Z как большой риск. Товар может не соответствовать описанию или быть ненадлежащего качества. Поэтому они предпочитают покупать что-то у более-менее знакомых людей.
Мы придумали функцию сообществ, где можно покупать и продавать вещи среди людей, которым вы доверяете больше. Это могут быть друзья или коллеги, студенты вашего вуза или единомышленники по увлечениям. Вы можете вступать в существующие или сами создавать уникальные группы, обмениваться любыми товарами внутри групп, как в кругу хороших знакомых. Получать от друзей индивидуальные скидки на их товары.
Мы сделали прототип и пригласили на тесты респондентов. Нашей задачей было проверить, соответствует ли решение проблеме, которую мы вскрыли на интервью. Для этого мы подготовили гипотезы и вопросы.
Наши гипотезы и вопросы:
Подросткам будет интересно создавать свои группы.
Они захотят добавлять друзей и знакомых в группы, чтобы быть «в кругу своих».
Готовы ли люди продавать дешевле (по особой цене) какой-то группе?
Покупатели, которые сейчас боятся покупать, будут готовы покупать в группах и захотят в них вступать.
Видят ли какую-то дополнительную ценность групп на Авито по сравнению с социальными сетями?
Закрытые группы добавляют ценности из-за эксклюзивности товаров и цен на них.
Респонденты поймут механику вступления в группы и их и создания.
Респонденты увидят ценность продажи и покупки в группах по сравнению с обычной продажей и покупкой.
Ваша задача — посмотреть видеозапись одной встречи с респондентом и написать свои выводы:
Что вы думаете о вопросах и гипотезах к этому тесту?
Какие гипотезы подтвердились, а какие нет?
Какие выводы по теме проекта вы можете сделать по этому респонденту?
Какие инсайты и важные мысли вы вынесли из этой встречи?
Как модератор провёл интервью в начале встречи?
Как модератор провёл тест, что вы можете сказать про его действия и вопросы?
На что смотрели
Насколько хорошо кандидат может оценить правильность выбранного метода исследования, его релевантность гипотезам и задачам исследования.
Понимает ли кандидат, что такое хорошие и плохие гипотезы.
Видит ли кандидат ошибки во время проведения интервью и тестов.
Умеет ли выделить из проведённой встречи ключевые инсайты и ответы на гипотезы.
Насколько грамотно кандидат может сформулировать выводы.
Как же мы видели идеальный вариант выполнения первого задания?
Формулировки гипотез
Во-первых, мы ждали, что кандидат скажет, что сформулированные в задании гипотезы говорят о том, что мы проверяем, насколько наше решение соответствует или не соответствует проблеме, которую мы диагностировали, общаясь с молодым поколением. То есть задача исследователя — не проверка прототипов с точки зрения юзабилити, а проверка гипотезы о решении на начальных этапах.
Мы также ждали, что кандидат заметит, что в списке гипотез не выделены ключевые для конкретного теста. То есть он покажет, что есть гипотезы второго уровня, а есть гипотезы первого уровня, ответы на которые нам важнее всего. Мы хотели, чтобы человек обратил внимание на то, что не все гипотезы верно сформулированы, например, часть содержит две гипотезы в одной. Мы подробно рассказывали об этом в прошлом году в разборе тестовых заданий с примерами хороших и плохих формулировок.
Мы ожидали комментариев, что часть гипотез невозможно проверить выбранным методом. Выбранный метод — это интервью с юзабилити-тестированием. На деле же часть гипотез нужно было проверять в бою и смотреть на поведение клиента в естественных, а не искусственных, условиях.
Как плюс мы рассматривали ситуации, когда кандидат дополнял наш список гипотез своими.
Респондент
В задании мы дали запись всего одной встречи. Нам было очень важно, чтобы кандидат на стажировку отметил, что исследователю попался нецелевой респондент. Была либо ошибка рекрута, либо ошибка в критериях подбора респондентов. У девушки, с которой записано интервью, изначально не было той проблемы, решение которой мы предлагали. Поэтому и гипотезы с ней проверить невозможно.
Кандидатам можно было рассуждать по-разному и предлагать разные варианты решений проблемы, например:
Сформулировать выводы из записанного интервью, затем взять несколько целевых респондентов и сравнить результаты между собой.
Полностью исключить неподходящую респондентку из выборки, а на следующие тесты пригласить более целевых респондентов.
Действия модератора
Перейдём к проведению интервью и тестирования. Здесь мы как раз ждали от всех кандидатов, что они разделят действия модератора на две группы: проведение интервью и проведение тестов. И очень важно, чтобы кандидат в ответе на задание не только ругал действия модератора, но и предлагал свои варианты улучшения, переформулировал вопросы и задания своими словами.
Хорошим тоном является приведение цитат модератора для доказательства и аргументации ваших наблюдений. Хорошим бонусом было, если кандидат отмечал не только минусы, но и плюсы работы модератора.
Вот ошибки модератора в интервью:
Запись сразу начинается с исследования. Из этого можно сделать вывод, что модератор не рассказал про встречу, дал очень мало вводных и не расположил к себе респондентку.
Модератор не провёл скрининг. Возможно, именно поэтому респондентка оказалась нецелевой, а мы не заметили это сразу.
Модератор говорил едва ли не больше, чем респондентка. Если вопросы занимают большую часть времени интервью — это не очень хорошо. Более того, модератор часто додумывал за респондентку её мысли.
Интервьюер не задавал уточняющих вопросов, а довольствовался односложными ответами. Он не копал вглубь и не спрашивал «почему», чтобы узнать причины ответов.
Очень мало поговорил с респонденткой про её прошлый опыт, наличие проблем и потребности. Можно было бы спросить о её личной активности в участии и создании групп, когда она последний раз покупала или продавала знакомым, что это был за опыт. Вместо этого модератор стал вводить респондентку в гипотетическую, неестественную для неё ситуацию. Он практически сразу перешёл к проверке нашего решения, хотя обычно это сильно влияет на реакцию интервьюируемого и искажает результаты.
Задавал очень много закрытых вопросов, на которые респондентка могла ответить «да» или «нет». Таким образом сложно получить ценную информацию. Также модератор задавал несколько вопросов за раз. Как следствие, респондентке было сложно вспомнить, на какой вопрос она отвечает и что было в самом начале вопроса. Плюс, модератор практически всегда задавал общие вопросы и обсуждал общий опыт респондентки, а не конкретные случаи. Не стоит довольствоваться ответами вроде «я обычно», «я всегда», «я чаще всего» и так далее.
Модератор не резюмировал итоги интервью и не сделал выводов.
А вот ошибки модератора на тестах:
Большинство заданий даны без опоры на опыт респондентки. Модератор довольно сильно навязывал опыт и контекст другого человека. Поскольку респондентка — нецелевая для задачи, это сильно сказывалось на её поведении и действиях в интерфейсе.
Задавал сложносочинённые вопросы и задания. Как и в интервью, респондентке было тяжело его понять и приходилось переспрашивать те или иные вещи.
Давал задания и вопросы с подсказками. Например, задавал вопросы с упоминанием элемента интерфейса и иногда в вопросе сам отвечал, что нужно сделать.
Модератор не опирался на реальные проблемы и потребности респондентки, а сам формулировал их в заданиях. Это сильно повлияло на действия респондентки: модератор фактически вёл её по своему искусственному сценарию.
Больше проверял гипотезы про интерфейс, а не гипотезы соответствия нашего решения изначальной проблеме. То есть больше занимался тестированием продукта, а не концепции решения. С ранними прототипами мы обычно не так много сил уделяем проверке самих интерфейсов. Модератор же потерял фокус.
Модератор проверил не все гипотезы. Это очень плохо: мы для того и формулируем гипотезы, чтобы во время тестирования получить на них ответы. Если мы выходим с тестирования с 50% непроверенных гипотез, то, фактически, мы провели его зря. Поэтому во время подготовки к тестам мы всегда составляем табличку, где напротив гипотез прописываем вопросы. За счёт этого удаётся не потеряться в процессе, проверить все гипотезы и задать все нужные вопросы.
Во время тестов модератор часто употреблял специфические термины, например: «такой флоу понятен?», «при нажатии на таб он перейдёт в поиск?» «как вам новая фича?», «что вы думаете про выдачу?», «что вы думаете про карточку?». Во время общения с респондентом лучше не использовать узкую и потенциально непонятную лексику.
Много наводящих вопросов. Было легко понять, какой ответ ждёт модератор по тому, как он задавал вопрос или как реагировал на ответ. Часто он давал слишком много пояснений или высказывал оценочные суждения, додумывал за респондентку.
В конце разговора также важно было обсудить общие впечатления от проведённого тестирования. Например, о том, что было удобно, что неудобно, почему так, остались ли у респондентки вопросы или комментарии.
Примеры ошибок:
Цитата | В чём ошибка |
Расскажи, насколько тебе комфортно покупать у незнакомых продавцов? | Наводящий вопрос. |
То есть твой такой внутренний барьер? Если он есть, если его нет, тоже скажи. | Наводящий вопрос. |
Они как-то разделены? | Вопрос с подсказкой. |
Привычный ли прототип? | Наводящий вопрос, непонятное слово. |
Ты нажимаешь на кнопку поиска, чтобы начать искать Айфон. | Додумывание за респондентку. |
Видишь ли ты здесь что-нибудь новое? Выглядит ли что-то другим? | Вопросы с подсказкой. |
Звучит, как будто одежду покупаешь. | Формулирование своих догадок. |
Логично. Да, всё звучит логично. Круто. | Оценочные суждения. |
Результаты проверки гипотез
Лучше всего оформлять гипотезы в формате:
Вот каких ответов в идеале мы ожидали от кандидатов по результатам проверки гипотез из задания.
Подросткам будет интересно создавать свои группы на Авито
Формулировка. Непонятно, как мы определим интерес. Непонятно, на основе чего он возникает, какие причины и следствия в этой гипотезе. Лучше было сформулировать «интерес» как факторы, на которые мы делали расчёт. Например, безопасность, доверие и прочее.
Статус. Эту гипотезу мы не проверили, но её было бы очень сложно проверить с помощью выбранного метода. Такие гипотезы лучше проверить на прошлом опыте респондента или на будущем поведении: создавал ли уже человек аналогичные группы в социальных сетях и на других площадках.
Подростки захотят добавлять друзей и знакомых в группы, чтобы быть «среди своих»
Формулировка. Непонятно, что значит «быть среди своих» и для чего подросткам это нужно. Опять плохая связка причины и следствия.
Статус. Эту гипотезу мы не проверили. Можно сказать, что она вообще не требует проверки: добавляя в группу друзей и знакомых, вы будете находиться среди своих. Вопрос в том, хотят ли подростки это делать для продажи и покупки товаров. Здесь можно было отметить, что у данной респондентки нет желания быть конкретно в кругу своих. Для неё речь скорее про наличие конкретного товара или нужного спроса в группе.
Готов ли продавать дешевле в какой-то группе?
Формулировка. Не гипотеза, а вопрос исследования.
Статус. Несмотря на то что, модератор затронул этот вопрос, мы считаем его неотвеченным. Мы смогли проверить только интерфейс, и то, что респондентка замечает и понимает, как можно снизить цену. Про саму мотивацию снизить цену модератор подсказал и таким образом навязал её, поэтому нельзя сделать какие-либо выводы. Как верно отметил один из кандидатов: «Уточняющий вопрос респондента «Насколько я добрая?» также свидетельствует о том, что действие не имело искренней мотивации и может быть рассмотрено как социально желательное поведение».
Скорее всего, чтобы получить ответ на такой вопрос исследования, нужно давать реальный кейс, когда человек продаёт свой товар, и смотреть на его поведение на данных уже в реальном контексте.
Покупатели, которые сейчас боятся покупать, будут готовы покупать в группах и захотят в них вступать
Формулировка. Здесь две гипотезы в одной. Ещё не хватает какой-то связи между причиной и следствием — если покупатели сейчас боятся, то почему станут готовы делать покупки в группах.
Статус: Эту гипотезу мы тоже не проверили, потому что у респондентки изначально не было такой проблемы. Она не боялась покупать, у неё не было недоверия к продавцам. Для неё был более значим товар, который она продавала или покупала, респондентка сама прямо сказала об этом. Чтобы проверить гипотезу, нужны целевые респонденты с наличием исследуемой нами проблематики. И такую гипотезу тоже важно перепроверять на «реальном» поведении.
Есть ли какая-то дополнительная ценность групп на Авито по сравнению с социальными сетями?
Формулировка. Не гипотеза, а вопрос исследования.
Статус. И на этот вопрос мы тоже не получили ответ. Модератор не докрутил его в ходе первичного интервью и теста, также не было обсуждения после тестирования, где нужно было поспрашивать глубже. Респондентка отметила только то, что в группах гораздо проще продавать товары, потому что группы — тематические, и в них по умолчанию находятся нужные вещи. Это преимущество в сравнении с тем, чтобы искать что-то на просторах социальных сетей.
Также респондентка отметила, что можно общаться с другими участниками группы, и задавать им вопросы. Например, чтобы спросить про продавца. Она обратила внимание, что можно посмотреть профиль продавца, но мы так и не поняли, в чём разница с социальными сетями. Поэтому считаем, что не получили достаточно данных по вопросу на этом интервью.
Закрытые группы добавляют ценности из-за эксклюзивности товаров и цен на них
Формулировка. Мы бы постарались раскрыть, что значит формулировка «добавляют ценности» и отметили, что речь идёт про продавца. А в целом гипотеза рабочая.
Статус. Модератор проверял только интерфейс: понимает ли респондентка, где искать закрытые группы, и что это значит. Он абсолютно не проверил, есть ли за этим какая-то ценность для интервьюируемой, и что это за ценность, если она есть. Отличия закрытых и открытых групп в исследовании не обсуждались. Была проверка интерфейса, а проверки гипотезы не случилось.
Респондент понимает механику вступления в группы
Формулировка. В такой постановке это скорее не гипотеза, а вопрос исследования.
Статус. Ещё одна гипотеза, направленная на проверку интерфейса. Респондентка изначально поняла, как вступить в существующую группу и создать свою при незначительных подсказках со стороны модератора. Можно сказать, что эта гипотеза подтвердилась, если не брать в расчёт ошибки при модерации, ведь респондентам не стоит делать подсказки. В идеальном сценарии гипотезу лучше перепроверить.
Респондент увидит ценность покупки и продажи товаров в группах по сравнению с обычной продажей и покупкой
Формулировка. Что мы имеем в виду под «увидят ценность»? Что означает «обычная продажа и покупка»? Почему объединяем покупку и продажу в одну гипотезу? Что, если ценность будет только в покупке?
Статус. Эту гипотезу можно отметить как подтвержденную частично, потому что респондентка сказала, что в группах удобно находить товары с конкретной спецификой. Например, учебники для университета так искать удобнее, и респондентка видит в этом ценность для себя. Также она обратила внимание на то, что можно написать другим покупателям и узнать больше о продавце.
Выводы
В выводах кандидатов мы в первую очередь смотрели на то, чтобы они были понятно оформлены. Давайте попробуем раскрыть, что такое «понятно» в идеальном случае.
Во-первых, выводы разделены на три части:
Описание профиля, мотивов, целей и задач респондента.
Проблемы соответствия решения проблеме, изначально найденной у сегмента пользователей.
Проблемы интерфейса.
Здорово в выводах развести эти три блока, потому что проблемы соответствия решения потребности важнее проблем соответствия интерфейса. Если решение не попадает в потребность, то никакой интерфейс не поможет, насколько бы хорошим он не был.
С нашей точки зрения, понятно оформленные выводы содержат аргументацию. У исследователя она должна быть под все собранные инсайты и проверенные гипотезы. Аргументация может содержать в себе как переформулированные цитаты респондента, так и дословные цитаты из интервью и теста. Таким выводам больше доверия, их приятно читать.
Если формулировать выводы таким образом, получается большой объём информации: в хорошем варианте там есть и общие данные и детали. Поэтому отдельно мы смотрели, есть ли в работе кандидата общее саммари.
Если говорить про оформление гипотез и ответов на них, тут мы, как правило, придерживаемся формата таблицы. В одной колонке — гипотеза, а во второй колонке указано, проверена она или нет, плюс какие-то аргументы и подкрепляющие этот факт цитаты. Этот формат проще всего, и его удобно читать. Примеры можно найти в тестовых заданиях в конце статьи.
Так как интервьюеру попался нецелевой респондент, и многие гипотезы остались непроверенными, в выводах мы ожидали от кандидатов слов о том, что нужно найти других респондентов и провести повторное исследование с ними. Какие-то гипотезы остались под сомнением, поэтому нужно их уточнить и, опять же, проверять повторно. Если в словах респондента были интересные мысли, на их основании следовало сформулировать дополнительные гипотезы для проверки с другими респондентами. То есть идеальные выводы по заданию, на наш взгляд, должны были содержать какие-то сомнения, дополнительные гипотезы, и вопросы для перепроверки на последующих тестах.
Очень хорошо подвёл итоги один из кандидатов:
По сути весь тест некорректный, так как задание не подходит под реальный соцдем профиль, задачи и проблемы респондента. Более того, всё тестирование строится на постоянных подсказках модератора о том, куда нужно нажать дальше, чего делать нельзя.
Задание 2. Кейс с отелями
Во втором задании кандидатам нужно было помочь компании разобраться, что происходит с новым бизнес-направлением. Мы запустили раздел отелей на Авито. Команда видит, что конверсия в бронирования отелей очень низкая в сравнении с бронированием квартир. Нужно выяснить, почему.
Сложность этого кейса в том, что сервис уже запущен в формате MVP, при этом есть довольно много вопросов к реализации самого MVP. Мы не дали кандидатам никаких предпосылок, почему запустили сервис и почему он существует именно в таком формате. Вместо этого, перенесли их сразу к проблеме решения — низкой конверсии в сделку.
Посмотреть второе задание
Предыстория. У Авито большая аудитория как в категории «Недвижимость», так и в целом. В месяц у нас снимают более 1 млн квартир посуточно. Мы понимаем, что наша аудитория может находить для себя подходящие варианты не только среди квартир, но и среди отелей. Поэтому мы запустили новую категорию.
Запустив новую функцию, мы видим, что очень малое число пользователей бронируют отели. Чтобы понимать, что делать дальше с новой категорией, нам нужно выяснить причины отказов от бронирования. Почему в аренде квартир высокая конверсия, а в отелях — низкая? Как увеличить конверсию в новой категории?
Ваша задача: помочь команде с проектом.
Сформулируйте план действий: что вы стали бы делать, если бы к вам пришли с такой формулировкой задачи.
Пропишите вопросы к команде, если они есть.
Опишите методологию исследования, которое поможет команде ответить на вопросы (цели, задачи, метод, вопросы, гипотезы, ЦА и прочее).
Пообщайтесь с 1–2 респондентами, если это предполагается по вашей методологии.
Приложите видеозаписи ваших онлайн-встреч с респондентами к отчету.
Напишите выводы, попытайтесь ответить на вопросы команды.
На что смотрели
Насколько кандидат умеет правильно задать вопросы команде продукта до начала работы над задачей.
Может ли правильно выбрать метод исследования и определить целевую аудиторию.
Умеет ли формулировать задачи исследования, гипотезы, задания и вопросы респондентам.
Насколько грамотно может провести встречу с респондентом.
Умеет ли оформлять выводы, выделять суть и подавать информацию.
Вопросы команде продукта
Пунктом номер один мы видели правильные вопросы, которые кандидат задаёт команде продукта. Вот блоки, вопросов по которым мы ожидали.
Предпосылки запуска сервиса. Тяжело помогать с исследованием и проверять, работает ли решение, когда не знаешь предпосылок его запуска. Исследователю важно понимать, из каких гипотез о проблемах родилось текущее решение, и чем руководствовалась при его создании команда.
Мы ожидали, что кандидаты захотят узнать:
Предпосылки запуска сервиса и ключевые гипотезы для запуска решения.
Какие пользовательские задачи и сценарии использовались для запуска решения.
Какие сегменты аудитории выделила команда, и на какие сегменты был расчёт в MVP.
Почему решение именно такое и почему у него именно такая точка входа для пользователей.
Как наше решение облегчает решение проблемы пользователей, в чём ценность нашего решения по сравнению с конкурентными.
Аналитика проекта. До начала работы нужно уточнить ряд вещей про аналитику проекта:
какие метрики изначально закладывала команда, оправдались они или нет;
какие метрики высокие, а какие — низкие, и почему они такие;
как команда видит себе воронку, какие цифры на каких этапах воронки, и где отваливаются пользователи.
Исследователь должен понимать всю аналитику на каждом шаге воронки, а также сравнить и обсудить с командой воронку отелей в сравнении с воронкой бронирования квартир. Сравнение полезно, потому что эти продукты похожи между собой по пользовательскому пути.
Особенно здорово, если кандидат отмечает, что нужно посмотреть на воронку от формирования у пользователя первой потребности до непосредственной брони отеля. То есть смотреть стоит не только на часть воронки на Авито, а также и на точки входа и каналы привлечения. Здесь задача — заглянуть на этапы, когда пользователь ещё не знает о существовании нашего сервиса бронирования.
Что показали ранние исследования. Мы ожидали, что кандидаты поинтересуются, проводились ли до текущего момента какие-то исследования, и что они показали. Один из самых важных пунктов — были ли тесты до запуска продукта. Если мы видим проблему с конверсией, то она может быть вызвана интерфейсами. Важно понять, какие тесты уже проводились, были ли на них выявлены проблемы, какие из проблем исправили, а какие нет. Возможно, решение вообще было запущено без каких-либо проверок и UX-тестов.
Анализ конкурентов. От идеальных кандидатов мы ждали вопросов о том, проводила ли команда анализ конкурентов. Мы всегда делаем его до того, как начать разбираться в своём решении и его проблемах. В анализе нужно посмотреть, как выглядят воронки конкурентов, какие у них цифры, что можно узнать по аналитике. Если таких данных у команды нет, то исследование конкурентов стоит включить в свою работу. Нужную информацию можно собрать из открытых источников и самому пройти пользовательские сценарии в похожих на исследуемый продуктах.
Текущие гипотезы команды. Для исследования нужно узнать у команды, откуда возникает проблема и почему, по их мнению, конверсия низкая. То есть собрать гипотезы, которые уже сформированы.
Просмотр сессий в вебвизоре. Также можно предложить команде организовать просмотр сессий в вебвизоре. Это может быть как этапом подготовки к исследованию, так одним из методов исследования. Для этого стоит уточнить у команды, включен ли на продукте вебвизор.
Отдельно мы ждём от кандидатов, что до начала исследования они сами пройдут пользовательский сценарий. Это позволяет экспертно оценить, какие проблемы в продукте могут быть, найти потенциальные камни преткновения в интерфейсе и сформировать свои гипотезы.
Цели и задачи исследования
В первую очередь мы смотрели не на выбранный кандидатом метод, а на описание целей и задач на исследование. Метод исследования всегда исходит из задач. Их формулировки определяют успех и полезность всего, что последует дальше. Если вы начнёте исследование с плохого или неправильного вопроса, то не получите полезного ответа.
Цель исследования — это то, на что исследование направлено. Конечный результат, которого хотелось бы достичь.
Задачи исследования— это этапы, которые необходимо выполнить, чтобы достичь цели исследования.
Правильная воронка подготовки к исследованию выглядит так:
Контекст бизнеса и вводные.
Цель и задачи исследования.
Гипотезы исследования.
Метод проверки гипотез.
Целевая аудитория.
Задачи и вопросы респондентам.
Что же является целью исследования в нашем случаи? Мы предлагаем разделить цели на две:
Основная исходит из задачи команды. Надо определить причины отказов от бронирования отелей на Авито.
Вторая может быть связана с отсутствием понимания, а как вообще пользователи проходят путь от появления потребности забронировать жилье до непосредственно бронирования не важно на каком сайте. То есть цель — понять, как клиенты ищут, выбирают и бронируют отели.
Задачи тогда можно поделить на два блока и сформулировать так.
Блок 1. Причины отказов на Авито:
Описать целевую аудиторию клиентов, бронирующих отели на Авито.
Определить основные сценарии пользователей при бронировании жилья на Авито.
Определить, как клиенты попадают в раздел с отелями.
Выявить и описать возможные барьеры для бронирования отелей на Авито.
Найти потенциальные причины ухода из раздела