Ошибки анкетных опросов. 1 ошибка: смещение выборки. 8 способов привлечь нужных респондентов
А значит, материал будет полезен тем, кто проводит исследование пользователей (клиентов, сотрудников, учеников) с помощью анкетных опросов, кто делает это сам, или заказывает такие исследования. Для профессиональных исследователей эта статья будет представлять меньший интерес, чем для любителей.
Возможно ли исследовать потребности пользователей в опросах?
Иногда у компании возникает необходимость получить мнение пользователя о продукте (или мнение сотрудника о компании), узнать его потребности и скрытые возражения. Обычно выбирается простое решение. Составляется анкета с, казалось бы, логичными и простыми вопросами и рассылается пользователям. Вернувшуюся часть анкет математическими методами обрабатывают и принимают за репрезентативную выборку (отражающую взгляды типичных пользователей), анализируют с помощью статистики, визуализируют и готовят отчет для принятия решений и выработки стратегии. Часто ошибочный и бесполезный отчет.
Одна из самых коварных проблем таких исследований: потребности очень сложно исследовать, но почти всегда кажется, что исследование прошло удачно.
В этой и следующих статьях я расскажу про несколько типичных ошибок в исследовании потребностей пользователей и способах, которыми можно уменьшить их влияние на результаты исследования.
Ошибка 1. Смещение выборки, или кто все эти люди и почему они вам отвечают?
Все, кто когда-либо встречался с анкетными опросами, знают, что из розданных анкет возвращается только малая часть. Иногда — меньше 10%.
Способам уменьшить это зло посвящено много публикаций. В том числе, с советами по статистическому «подгону» выборки. Строго или не строго, но вернувшуюся часть анкет часто признают адеватной выборкой из генеральной совокупности (всей совокупности пользователей, мнения которых исследователь хочет изучить) и работают с тем, что есть. Иногда эта «выборочность» и вовсе незаметна — когда, например, приглашение к опросу рассылается безадресно, и откликнувшиеся пользователи считаются выборкой.
Пример. В крупной ИТ-компании (штатом в несколько тысяч) проводилось исследование удовлетворенности сотрудников работой HR-службы. Нас пригласили помочь только на этапе обработки результатов. До этого сотрудники подразделения сами составили анкету и сами запустили опрос, рассылая работникам приглашения по корпоративной почте. Они не позаботились о мотивации участников опроса и об «административном рычаге» (почти самой важной части любого организационного исследования) и просто рассчитывали на хороший отклик сотрудников. В итоге, анкеты вернулись с 15% отдачей. На анкеты отвечали, в основном, новые или совсем неопытные работники (они еще почти не сталкивались с деятельностью этого подразделения, но анкеты заполняли охотно и, как правило, выставляли завышенные баллы). Самая главная группа — руководители отделов — была представлена всего тремя (из нескольких десятков) самыми лояльными участниками. Возможность привлечь внимание к опросу была упущена, провести опрос повторно тоже было невозможно (организаторов обвинили бы в спаме). В итоге, они выбрали изящное решение — представили руководству результаты в процентном соотношении по каждой группе сотрудников, не указывая количество участников. В отчете получилось, что руководители отделов крайне удовлетворены работой подразделения. Срок жизни такого отчета — до того момента, пока руководитель не узнает, сколько человек из каждой группы реально принимали участие в опросе. Но такие вопросы задаются редко, и организационные исследования, на которые никто из сотрудников не обращает внимания, процветают.
Разберем 3 причины смещения выборки:
1) неправильный выбор канала поиска участников,
2) отзывчивость,
3) меркантильность.
1. Неправильный выбор канала поиска участников
Почти во всех учебниках по статистике вы найдете предостережение о смещении выборки, которое появляется, если вы опрашиваете, скажем, участников только одного Интернет-форума (при условии, что контингент пользователей значительно шире), или если вы проводите опрос сотрудников, находящихся в столовой в рабочее время, или опрашиваете самую доступную вам группу пользователей (например, пришедших на презентацию нового продукта): согласуются ли их мнения с мнениями остальных пользователей, или это все-таки специфическая группа? Эти предостережения — классические советы для исследователей, их наверняка многие учитывают.
Но я хочу обратить внимание на другие опасности смещения выборки — отзывчивость и меркантильность.
2. Отзывчивые враги исследователя
Ответьте честно: когда вы в последний раз были рады заполнению анкеты? Чаще всего, наверное, соглашались из солидарности, пытаясь помочь коллеге. Так вот, ваши ответы стоит исключить из выборки, как нерелевантные (вы отвечали на вопросы, как лояльный друг, или сочувствующий коллега, а не как «наивный» пользователь). В классических маркетинговых исследованиях принято после первичного анализа выборки исключать всех представителей смежных специальностей, в том числе, всех рекламщиков и маркетологов, так как их мнение считается профессионально деформированным. Кто тогда останется?
Кто все эти люди, отвечающие на наши опросы и находящие на них время? Кто в потоке около супермаркета подходит к социологу, кто открывает двери квартиры, или заполняет анкету в Интернет-опросе? Очевидно те, кого опрос волнует лично, или те, у кого полно времени, развит мотив помощи и общения и, возможно, недостаточно других интересных занятий.
Помните, в советском фильме «Самая обаятельная и привлекательная» главная героиня хочет выйти замуж с помощью подруги-социолога, специалиста по семейным отношениям. Вместе они пытаются исследовать потенциальных женихов героини и сталкиваются с их занятостью и нежеланием отвечать на вопросы. Но находится отзывчивый сотрудник, с удовольствием отвечающий на любые вопросы — совершенно не интересный невесте и исследователю респондент. Так и в жизни: в ситуации массового опроса, вероятно, мы можем не заметить, что за многочисленными ответами отзывчивых и нерелевантных пользователей мы не получили ни одного ответа от наших целевых клиентов.
В старом исследовании J.M. Darley, C.D. Batson, 1973 было показано, что даже ученики семинарии, встречая просьбы о помощи, оказывали ее значимо реже, если были заняты и спешили (например, готовились выступить на тему о добром самаритянине).
Источник: Хекхаузен Х. Мотивация и деятельность: В 2 т. Т. 2. М: Педагогика, 1986. С. 234–248 / Darley, J. M., and Batson, C.D., «From Jerusalem to Jericho»: A study of Situational and Dispositional Variables in Helping Behavior». JPSP, 1973, 27, 100–108.
А нужны нам ответы таких отзывчивых и незанятых людей? И будут ли их ответы отражать мнение типичных пользователей о нашем продукте? Они будут хвалить продукт, желая показаться хорошими, или, наоборот, критиковать его, желая привлечь к себе внимание?
Пример. Исследуя несколько лет назад лояльность сотрудников средней по размеру компании, мы обратили внимание на подозрительно позитивные, «монотонные», ответы нескольких ее сотрудников. Они первыми прислали полностью заполненные анкеты, высказывались о компании хорошо и полно, предлагали идеи и, в общем, представляли собой просто идеальных участников опроса. У нас это вызвало подозрения, которые мы смогли прояснить во время глубинных интервью. Оказалось, что сверх-отзывчивость к опросу проявили только продавцы, чувствовавшие свое шаткое положение перед приближающимся отчетным периодом. Они же и давали исключительно положительные отзывы о компании и руководстве (если бы мы взялись анализировать средние, эти отзывы существенно сместили бы общую картину результатов исследования). Один из продавцы и во время интервью расхваливал компанию и искренне признавался, что понимает, что задолжал ей, потому что не показывал результаты в течение года. Когда мы принесли отчет с предостережением для руководства, мы узнали, что «лояльный» сотрудник опередил нас, за день до этого подав заявление об увольнении.
Если портрет вашего пользователя «человек с большим количеством свободного времени, с развитой потребностью в помощи и общении», то да, можно смело использовать результаты таких опросов. Если ваш пользователь — человек занятой и рациональный, нужно дополнительно подумать, как привлечь его к исследованию. Чуть ниже я расскажу про свои находки для такого привлечения.
3. Меркантильные враги исследователя
Вторая проблема смещения выборки и получения ошибочных данных — это участие в опросах «искателей наживы».
Проблема внешней и внутренней мотивации участников опросов тоже обсуждается часто: стоит ли платить за труд, предлагать дополнительные награды и приятные бонусы клиентам, которые ответят на вопросы анкеты? В таких спорах есть четкая позиция: не вводите внешнюю мотивацию (деньги, бесплатный доступ, подарки, отгулы и др.) до тех пор, пока возможно работать с внутренней. И дело тут не в жадности. Внешняя мотивация почти всегда необратима, ее стоит считать последним отчаянным шагом.
Но смещение выборки среди реальных пользователей или потенциальных клиентов в сторону тех, кто заинтересован в оплате своего участия, — это еще малое зло. Большее зло, крайне актуальное сейчас на рынке исследований, — это когда с целью заработка люди выдают себя за ваших реальных или потенциальных клиентов, не являясь таковыми.
Сейчас многие сервисы on-line опросов предлагают услугу доступа к панели платных респондентов. Они привлекают и оплачивают труд участников исследования разными методами и остается догадываться, насколько щепетильно они относятся к таргетингу, и насколько такой удаленный таргетинг вообще выполним.
На рисунке: скриншот одного из сайтов, приглашающих активно участвовать в разных опросах.
Сомнения в чистоте таргетинга подкрепляются параллельно развивающейся волной активности со стороны участников таких опросов, размещающих советы о том, как заработать на онлайн-опросах и повысить вероятность получения приглашения (попадания в выборку). Например, советуют при заполнении анкеты написать, что у вас средний возраст, средний или выше среднего доход, вы состоите в браке, у вас есть водительские права, ребенок, вы являетесь постоянным потребителем определенных продуктов (о каких спросят в анкете — с такими и соглашайтесь) и не являетесь представителем определенной профессии (о какой спросят в анкете — ту и отрицайте). Все эти советы помогают сойти за типичного пользователя, попасть в исследование и получить деньги за участие. Представьте, какие люди зарабатывают на таких исследованиях, и какие ответы они будут давать на ваши вопросы.
На русскоязычных сайтах искателям наживы советуют выдавать себя за средних европейцев или американцев, а дальше — отвечать, как получится, даже без знания иностранного языка. Не нашими ли безработными соотечественниками и их случайными ответами определяются продуктовые стратегии западных брендов?
Мы можем игнорировать смещение выборки только в том редком случае, если для нас совершенно не важно, о каком пользователе идет речь, и нужны, например, какие-то его психофизические показатели, свойственные каждому нормально развивающемуся человеку без учета возраста и пола, или в том случае, если мы только начали тестирование продукта, и на этом этапе нам важны совершенно любые отзывы и идеи, независимо от портрета типичного пользователя. В последнем варианте имеет смысл только сбор «сырых данных» для подготовки более основательного опроса на релевантной выборке.
Как привлечь подходящих?
Чтобы не работать с «хорошей» выборкой неподходящих респондентов, мы время от времени используем такие психологические способы привлечения релевантной выборки.
Способ 1. Нужны деловые и рациональные? Мы находим для них смысл.
Чтобы человек выделил время на заполнение анкеты, ему нужно найти в этом смысл. В таких случаях мы формулируем «легенду», приглашение к исследованию так, чтобы занятой человек, не испытывающий желания нам помогать, проникся идеей важности опроса и согласился, что на него стоит потратить время.
1. Важно для него. Иногда характер исследования позволяет подобрать мотивирующие стимулы, которые касаются лично респондента.
Пример 1. Несколько лет назад нам нужно было апробировать большой психологический опросник. По нему запрещено было сообщать результаты, пока опросник не пройдет проверку. Чтобы привлечь людей, мы присоединили к нему два авторитетных психологических теста, служивших для валидизации опросника. Каждому участнику после опроса давалась подробная индивидуальная расшифровка по этим тестам, что было для них хорошим стимулом участвовать в исследовании. Некоторым региональным участникам мы приносили распечатанные результаты или даже присылала бумажные письма, потому что у них не было e-mail. Однажды на Новый год я даже получила от одной участницы открытку с поздравлением и благодарностью за результаты.
Пример 2. Мы разрабатывали методологию и автоматизировали внутреннюю ежегодную оценку персонала в одной из компаний наших клиентов. Перед тем, как предложить методологию оценки, мы провели краткий опрос и узнали у сотрудников, что больше всего в предыдущих оценках их расстраивало отсутствие обратной связи о результатах. Им сообщался общий рейтинг, или начислялись премии, но развернутый результат никто не предлагал. Автоматизация помогла нам сделать процесс предоставления обратной связи мгновенным, развернутым и направленным на развитие каждого сотрудника.
Во-первых, после ответа на вопросы анкеты о себе и о своих сотрудниках (один из этапов оценки по принципу 360 градусов) каждый участник мог посмотреть, как его оценили сотрудники и руководство (оценки были визуализированы в паутинковой диаграмме и представляли вполне наглядные результаты) — см. рисунок.
Во-вторых, после получения итоговых баллов оценки личностных качеств сотрудник мог просмотреть расшифровку качества, узнать, что значит именно его оценка, и прочитать личные рекомендации для развития компетенций — в зависимости от полученных баллов, ему предлагались советы по поведению с сотрудниками и руководсвом, или специальные тренинги и семинары (см. рисунок).
В-третьих, после прочтения рекомендаций участник мог посмотреть, какую литературу он может прочитать для развития тех качеств, которые у него были оценены недостаточно высоко. Ссылки на литературу вели в корпоративную on-line библиотеку, где сотрудники могли оценивать прочитанные книги и оставлять комментарии (см. рисунок).
Так нам удалось вовлечь сотрудников в процесс оценки, добиться быстрого заполнения on-line анкет и существенно расцветить формальный процесс оценки.
2. Важно для общества. Когда лично респондента заинтересовать не получается, мы рассказываем в приглашении, почему возникла необходимость исследования, что угрожает обществу (природе, культуре, науке и др.) и почему важно получить ответы именно такого человека, чтобы понять, как изменить ситуацию. Конечно, такие объяснения подходят только для глобальных исследований, или социально-значимых проектов.
3. Важно для вас. Пожалуй, самый слабый аргумент. Часто эгоизм исследователей вызывает раздражение. Но бывают и удачные примеры, когда исследователь объясняет свое затруднительное положение и вызывает сочувствие.
Пример 1: Я встречала похожие призывы. Обычно они срабатывают: «Я устроился на работу своей мечты. Но могу не пройти испытательный срок, если не проведу хорошее исследование клиентов. (Пишу дипломную работу / Стараюсь выиграть грант на обучение). Я очень стараюсь, чтобы исследование получилось качественным. Только никак не могу собрать нужное количество экспертов для участия в опросе. Пожалуйста, помогите мне получить работу мечты. Вам нужно ответить всего на пару вопросов, а мне это даст огромный шанс сделать что-то стоящее».
Пример 2: Однажды меня по-настоящему подкупил звонок из известной МЛМ-компании, распространяющей косметику. Девушка начала разговор такими словами: «Мы заметили, что в последнее время репутация нашей компании стала падать, и мы решили провести опрос общественного мнения, чтобы понять, что именно не нравится нашим клиентам. Не могли бы вы помочь нам и ответить на несколько вопросов, чтобы мы смогли улучшить свою репутацию и снова радовать клиентов?» Я прониклась их проблемой, готова была подробно ответить на ее вопросы. К сожалению, после этой вводной фразы девушка снова вернулась к обычным шагам телефонных продаж, и я быстро прекратила разговор.
Способ 2. Рассказываем, к чему это приведет.
Одно из самых неприятных переживаний для человека — переживание тщетности усилий. Вероятность заполнения анкет в наших исследованиях обычно повышается, если мы объясняем участникам, как будут использованы их ответы. Иногда мы честно рассказываем, что сейчас выбираем стратегию развития продукта, и будем основывать выбор на решении клиентов. Или сообщаем, что в результате исследования будет опубликован отчет с рекомендациями для всех производителей подобных товаров. Участники исследования имеют право знать, где будут использованы результаты их работы, чтобы решить, стоит ли принимать в этом участие.
Способ 3. Угадываем «внутренний» мотив.
Какие личностные мотивы клиентов могут повлиять на заполнение анкеты? Какую радость мы можем им принести?
Приведу неполный список потребностей, которые можно учитывать в приглашениях и благодарностях для участников опросов. Мы никогда не задействуем все варианты сразу. Тип опроса и особенности целевой аудитории задают и варианты привлечения респондентов. Некоторые ходы требуют от нас дополнительных усилий, но одни из них помогают привлечь участников, а другие помогают сделать их лояльными и возвратить, когда их мнение снова нам понадобится.
Потребность в развитии и самопознании — в этом случае мы гарантируем каждому участнику отчет с результатами исследования, или ссылку на его публикацию в прессе. Если у нас есть ресурсы и участники нам очень дороги, каждому из них мы составляем сравнительный отчет: как его ответы отличались от ответов большинства других участников опроса. Аппаратно организовать это не так сложно, но эффект получается хорошим.
Пример. Однажды такой ход помог нам привлечь к исследованию директоров государственных предприятий. Их желание узнать, как их мнение отличается от мнений других директоров в отрасли, стало единственным мотиватором для участия в нашем опросе. Мы получили богатую специализированную выборку, а затратили на это всего лишь дополнительный день работы недорогого ассистента и немного бумаги для отчета каждому участнику.
Потребность во власти — в этом варианте мы подчеркиваем, что ответы участника будут специально рассматриваться при принятии решения об изменении продукта, или политики компании. И обязательно обещаем выслать отчет о таких изменениях. Самое главное в таких обещаниях — потратить дополнительные усилия, чтобы выдержать их. Так мы повышаем лояльность к продукту и обеспечиваем себе участников для следующего исследования.
Потребность в принадлежности — в этом случае можно создать сообщество тестеров/ друзей / евангелистов продукта, сделать площадку для их общения, давать им привилегии в виде эксклюзивной информации, тестового доступа, тестирования новых функций. Здесь важно выбрать признак, по которому участника можно отнести в небольшую группу подобных ему пользователей: сообщить в приглашении, что этот человек был отобран в группу самых активных (или самых молодых, столичных, владеющих минивэнами, и т.д.) пользователей продукта.
Потребность в получении новых знаний (любопытство) — с этой потребностью работать просто, если в опросе принимают участие эксперты, или фанаты продукта. Опрос можно сделать развивающим, предложить уникальное тестирование новых функций продукта, сообщать в вопросах факты о продукте, или другие важные детали, скомбинировать итоговый отчет с тематической статьей, или пообещать выслать развернутый материал по этой теме, когда закончится исследование. Здесь важно избегать смещения выборки: статья, или обещание эксклюзивного материала привлечет только экспертов в этой области. Если вам нужны мнения неопытных пользователей, нужно обещать им что-то неспециализированное и развлекательное.
Потребность в восхищении (тщеславие) — эту потребность мы задействуем, когда исследуем ограниченное число экспертов. В таких случаях мы обещаем упоминание компании участника, или его имени (если это уместно) в публикации результатов отчета, включение в клуб евангелистов, или клуб рецензентов, и др. Если участников много, мы можем потратить время на именные благодарственные письма каждому из них через несколько дней после исследования, в которых еще раз подчеркиваем, как важно было именно его участие в исследовании.
Потребность оказывать помощь — довольно сильный мотиватор, его можно применять почти во всех опросах. Когда мы его используем, мы подчеркиваем сложное положение, в котором оказались разработчики, рассказываем подробнее о затруднениях (увеличилось число отказов, пользователи недовольны продуктом, но мы не можем понять, что их не устраивает, или не знаем, как сделать лучше, и потому очень нуждаемся в совете). Здесь важно не стесняться показаться в слабой позиции. Иногда компании выдумывают затруднения, чтобы вовлечь в бесплатную работу сочувствующих пользователей. Участникам исследования приятнее чувствовать себя экспертами, чем подопытными, поэтому позиция «просящего о помощи» не ослабит вас, но привлечет более мотивированных участников.
Способ 4. Придумываем нематериальный «внешний» мотив.
Предоставление скидки, эксклюзивных условий использования продукта для пользователей, часа отгула для сотрудников, и т.д. — все еще рискованные стимулы, они могут сместить интерес от заполнения анкеты на получение награды. Нематериальной наградой станет подарок в виде ссылки на интересное видео, анекдот в конце анкеты, неожиданный сувенир.
Если нужно привлечь экспертов для получения профессиональной обратной связи, в таких случаях часто используют предоставление уникального доступа к новой версии продукта, авторы книг и приложений рассылают их бесплатные версии для тестирования и рецензий. Проводятся целые кампании по привлечению ранних тестировщиков продукта. Все это служит еще и маркетинговым целям продвижения.
Способ 5. Стараемся не заигрывать с анонимностью.
Часто я слышу жалобы от сотрудников разных компаний на проводимые внутриорганизационные опросы: «Они заверяют, что опрос анонимный, но просят прислать ответы по e-mail и спрашивают мою должность, пол и возраст! Как только я это увидел, я отказался заполнять их лживый опросник».
Пример: 
Источник: pikabu
Часто эта «ложь» у организаторов исследования появляется не со зла, а от желания насытить данные, сегментировать участников и сделать исследование более детальным. Так что, лучше не обещать анонимность, если респондентов можно вычислить по ответам.
В таких случаях мы либо используем максимально защищенные способы сбора ответов (конвертные исследования, анонимный опрос по ссылке), либо обещаем только такую защиту данных, которую можем выполнить сами.
Пример: Наша компания недавно стала партнером в проведении исследования лучших работодателей в Беларуси. Наш партнер, известный Интернет-ресурс о работе в ИТ, проводит это исследование среди ИТ-компаний уже несколько лет. Они выбрали такой вариант обеспечения анонимности: в исследуемую компанию приезжают сотрудницы с коробкой конвертов. Внешне конверты одинаковые, но внутри каждого находится уникальная ссылка на on-line анкету. Конверты раздаются участникам рандомно, имена участников не фиксируются и не сопоставляются с определенными конвертами. Так удается снять тревогу участников по поводу соотнесения ответов с определенным сотрудником. Уникальные ссылки на опрос нужны для того, чтобы защитить исследование от искусственных накруток со стороны руководителей компании-участника и снять подозрения сотрудников на этот счет. Конечно, остается проблема возврата анкет (здесь можно вернуться к вопросу об отзывчивости) и проблема узкого таргетирования, за которым особенно тревожные сотрудники могут заподозрить попытки их вычислить (эта проблема увеличивается по мере уменьшения размера компании, где вычислить сотрудника по полу, возрасту и должности становится просто, и для ее снижения авторы анкеты избегают слишком точных вопросов о возрасте и должности сотрудника).
На фото: коробка с анонимными конвертами для участников исследования.
Когда добиться анонимности совсем сложно, можно гарантировать сохранение данных и доступ к ним только исследовательской команды.
Пример формулировки в приглашении: «Мы гарантируем, что ваши ответы будут анализироваться совокупно с ответами остальных участников исследования, не будут рассматриваться отдельно, разглашаться или передаваться третьим лицам, не участвующим в проведении данного исследования».
Способ 6. По возможности снимаем тревогу по поводу времени.
Анкета становится более привлекательной, если она маленькая, а в введении сразу видна информация о количестве вопросов и ожидаемом времени заполнения. Если присмотреться к анкете придирчиво и переформулировать вопросы, обычно можно сократить ее в 2 раза. И еще треть вопросов — почти всю «паспортичку» — заполнить самостоятельно (если исследование не анонимное, и вы знаете данные об участнике), или дать сразу подготовленную анкету (разделить бланки / ссылки для женщин и мужчин, разных возрастных и статусных групп, и т.д.). Все это уменьшит возражения респондентов против участия в опросе.
1. Обещаем простоту сразу во введении.
Пример: «Анкета содержит 10 простых вопросов, и ее заполнение не займет у вас больше 5 минут».
2. Если вопросы требуют перехода, и участник не видит сразу, где кончается анкета, мы показываем прогресс выполнения — это увеличивает вероятность заполнения анкеты до конца.
Пример: «Вопрос 1 из 19, Вопрос 2 из 19 и т.д.», если анкета моделируется в зависимости от предыдущих ответов, пишите в заглавии вопросов: «Часть 1 из 4, Часть 2 из 4».
3. Маленькая хитрость. Если участник уже заполнил большую часть анкеты, ему жалко потерянного времени, и он, скорее всего, пройдет анкету до конца. Поэтому, в начале анкеты мы обычно помещаем легкие вопросы, которые могут максимально завлечь участника (это вопросы о самом участнике, его вкусах, но не личные вопросы и не сложные сравнения, которые могут сразу отпугнуть).
Способ 7. Устанавливаем временные границы.
Заполнение анкеты люди часто относят «на потом» и вовсе забывают. Мы считаем удачей, если получается сразу вовлечь участников в заполнение анкеты. Это хорошо проходит в организационных исследованиях, когда есть возможность пригласить участников в отдельную комнату для исследования в рабочее время, или когда руководитель выделяет сотрудникам время для заполнения анкеты.
В on-line опросах быстрого заполнения анкеты удается добиться, когда это импульсивное участие в кратком опросе. В других случаях мы дополнительно ограничиваем время и просим прислать заполненную анкету, например, до 22:00 этого дня, или до пятницы, и т.д. Иногда, если участники достаточно лояльны, ближе к истечению срока мы присылаем напоминания.
Способ 8. Развлекаем и удерживаем внимание.
Если анкета все-таки получилась большой (больше 10 вопросов), можно добавить к некоторым вопросам картинки, видео или забавные факты. Мы стараемся чередовать сложные и простые вопросы, убираем по возможности таблицы, сравнения, сложные списки, вопросы с ранжированием: их очень любят исследователи и очень не любят респонденты.
Когда у нас есть больше ресурсов, мы стараемся сделать опрос игровым и максимально визуальным. Это уже отдельная тема геймификации опросов, здесь я приведу только пару примеров из своего опыта.
Пример 1: Сейчас мы заканчиваем проект по внедрению on-line обратной связи для крупной торговой компании. Клиентов обычно очень сложно мотивировать на предоставление обратной связи, особенно, если дело касается быстрой купли-продажи. Для вовлечения клиентов в такой опрос и удержания их лояльности, мы с помощью профессионального иллюстратора визуализировали каждое правило обслуживания клиентов в положительном и негативном ключе. Получился красочный, местами шутливый, комикс с примерами хорошего и плохого обслуживания и приглашением поставить галочку по 6-балльной шкале по каждому пункту. От картинки к картинке в комиксе начинают узнаваться персонажи, поневоле клиент начинает за ними следить, у него усиливается любопытство и ожидание следующей картинки. Это вовлекает участников и страхует нас от не до конца заполненных анкет. Кроме того, для компании это — дополнительная возможность напомнить о своих стандартах обслуживания и показать заботу о клиенте.
Официальный релиз проекта состоится уже совсем скоро, поэтому, я смогу показать примеры и рассказать о результатах внедрения только в следующих статьях.
Пример 2: В компании с автоматизированной оценкой персонала, о которой я писала выше, вопрос первичного вовлечения участников мы также решили за счет визуализации. При опросе сотрудников о том, что они хотели бы поменять в оценке, мы услышали такие мнения: «Вот в Одноклассниках мне интересно ставить оценки, там я сразу вижу, кого оцениваю». Шутка шуткой, а мы решили использовать набиравший тогда силу интерес к Одноклассникам у более взрослых сотрудников компании для вовлечения их в нашу on-line оценку. При оценивании каждого сотрудника перед участником в системе появлялась карточка с его фотографией, возможностью дать быструю, или развернутую оценку, и написать личное пожелание. Эти пожелания никак не учитывались при подведении результатов оценки, но служили для вовлечения сотрудников за счет создания дополнительного канала коммуникации.
Итак, в этой статье я рассказала, какие методы мы применяем в исследованиях, чтобы вовлечь максимально релевантных участников, и не допустить смещения выборки.
Подытожу эту часть в виде краткой памятки по составлению анкеты:
1. Определите портрет целевого респондента и подумайте, что может привлечь такого человека к участию в опросе.
2. В приглашении к исследованию, вводной и заключительной части анкеты сделайте участникам предложение, значимое для их личностных потребностей (потребности во власти, любопытстве, самопознании, принадлежности, помощи, восхищении).
3. Не используйте внешнюю мотивацию на участие в опросе, если можно использовать внутреннюю.
4. Обещайте только тот уровень анонимности, который можете обеспечить.
5. Сократите анкету, насколько это возможно. Оставьте участникам на заполнение только те поля, которые вы не можете заполнить за них.
6. Старайтесь не включать в анкету сложные задания и сравнения. Расскажите участникам про простоту анкеты во введении.
7. Задайте четкие временные рамки.
8. Продумайте развлечение для участников во время и после заполнения анкеты.
В следующих частях:
Ошибка 2. Формулировки вопросов: почему вы решили, что вас понимают?
Ошибка 3. Виды лжи в опросах: почему вы верите ответам?
Ошибка 4. Мнение не равно поведению: вы действительно спрашиваете о том, что хотите узнать?
Ошибка 5. Виды опросов: вам нужно узнать, или подтвердить?
Ошибка 6. Разделяйте и насыщайте выборку: среднее ничего не помогает понять.
Ошибка 7. Пресловутый «Net Promouter Score» — это НЕ изящное решение.
