Технологии изнутри: ¡No pasarán! — Фильтрация склика
Нас периодически спрашивают: «что это за странный всплеск у меня в статистике — это склик?» Чаще всего пики на графиках вызваны естественными причинам. Но даже если речь идёт о мошенническом трафике, беспокоиться не о чем. Директ фильтрует фальшивые, или фродовые клики. Так что они не портят статистику размещения и ничего не стоят рекламодателям.
В этой статье мы отвечаем на вопросы, как устроена система многоступенчатой защиты от фрода в Директе и как она развивается, обучаясь на новых примерах склика. А в следующих постах расскажем о других технологиях, которые позволяют добиться высокого качества рекламного контакта. Например, об автоматической проверке видимости баннеров.
Что такое фрод
Фродом называют самые разные формы мошенничества с использованием информационных технологий, поэтому для начала разберёмся с терминами. Система антифрода Директа фильтрует три основных типа некачественного трафика:
1. Склик (кликфрод) — накрутка кликов с целью потратить бюджет рекламодателя. Возможность такого мошенничества вызывает больше всего вопросов и опасений.
По разным оценкам, в рунете на склик приходится от 10 до 30% трафика. Наши показатели обычно держатся в районе 20%. Эту цифру стоит читать так: «каждый пятый клик притворяется настоящим». А вот тезис »20% рекламного трафика оказались подделкой» не вполне честный — в реальности мошеннический трафик отсеивается, не влияя на статистику и бюджеты рекламодателей.
2. Скрутка — накручивание показов. Например, чтобы испортить CTR конкурентов. Как и поддельные клики, фальшивые показы не засчитываются системой.
3. Повторные и случайные клики. При просмотре объявления пользователь нередко делает сразу несколько кликов: по заголовку, визитке, быстрым ссылкам. Наверняка вы знаете, что в таком случае рекламодателю нужно заплатить только за один переход по рекламе. Отследить остальные, «повторные» — серьёзная задача для системы антифрода. Ещё клики бывают случайными: когда человек нечаянно нажал не на ту ссылку и сразу закрыл страницу. Повторных и случайных кликов фильтруется больше всего, хотя они и не являются мошенничеством.
В первых двух случаях речь идёт о злоумышленниках. Они бывают разными: одни скликивают чужую рекламу вручную, а другие используют роботов — программы, которые автоматически переходят по ссылкам и притворяются людьми. Директ успешно борется и с теми, и с другими.
Как устроен антифрод
Технология антифрода в Директе — это система фильтрации некачественного трафика, где на разных уровнях отсеиваются разные типы фрода. От простого к сложному:
Шаг 1. Защита от роботов в режиме реального времени. На верхнем уровне воронки автоматически отсеиваются все очевидные боты, которых в сети очень много. Если вы переживали, что платите за роботный трафик, расслабьтесь — боты первыми оказываются за бортом.
Реальный график работы системы антифрода. Красная линия — отфильтрованный трафик, синяя — качественный трафик, отражаемый в статистике. Синяя линия почти не реагирует на колебания красной, так как система моментально отсекает практически весь фродовый трафик.
Шаг 2. Онлайн-фильтрация, работающая на базе технологии машинного обучения Матрикснет. Эта система анализирует каждый клик, сверяясь со списком из 250 разных характеристик. При анализе учитываются сиюминутные признаки (время суток, сезон, география клика и так далее), а также некоторые события до клика и типичные паттерны поведения, которые свойственны людям и «человекообразным» роботам.
Мы не раскрываем факторы, которые применяются для оценки качества трафика, чтобы не облегчать задачу мошенникам. Борьба с ними идёт постоянно: злоумышленники совершенствуют свои навыки и учатся обходить фильтры, а специалисты Яндекса обучают систему на новых случаях фрода и совершенствуют защиту рекламодателей.
Бывает, что на этапе онлайн-фильтрации вместе с некачественным трафиком отсеивается немного кликов пользователей, которые не имели в виду ничего плохого. Иногда люди очень похожи на ботов — например, когда студенты ищут информацию по какой-нибудь редкой теме: они систематически прокликивают все ссылки в выдаче и вводят парадоксальные цепочки запросов. Таких честных пользователей обычно единицы, они не влияют на статистику и бюджет рекламных кампаний.
Фильтры меняются вместе с поведением пользователей — специальная служба асессоров Яндекса анализирует долгосрочные тренды в трафике, и если поведение пользователей меняется, правила работы антифрода также могут измениться. Например, раньше, чтобы узнать значение иностранного слова, люди вводили запросы [слово перевод]. А сейчас многие привыкли набирать только само слово: его перевод на русский сразу появляется в колдунщике Яндекс.Словарей, и куда-то кликать уже не нужно. Запросы без единого перехода похожи на поведение роботов, «скручивающих» показы —, но система антифрода видит разницу между ботами и обычными пользователями.
Шаг 3. Офлайновый анализ поведения пользователей. Благодаря первым двум шагам фильтрации, львиная доля некачественного трафика отсеивается до того, как успевает повлиять на статистику и деньги рекламодателей. Но на этом работа антифрода не заканчивается: весь трафик проходит через дополнительные офлайновые фильтры.
Если в момент клика Директ анализирует разные типы данных по отдельности (домен, запрос, регион и т.д.), то на следующих этапах можно объединить все эти факторы и увидеть картину целиком, построив граф поведения пользователей. Аномальные уплотнения на графе сигнализируют, что пользовательское поведение отличается от нормы и помогают обнаружить сложные случаи фрода. Система антифрода использует распределенные алгоритмы кластеризации данных и каждый день изучает порядка 4 000 000 000 событий.
Несколько лет назад этот этап фильтрации вырос буквально из одной сложной задачи — борьбы со скликом в тематике уничтожения клопов. Так что за офлайн-фильтры стоит сказать спасибо «клоповой мафии».
По итогам офлайнового анализа событий система антифрода регулярно вычищает остатки некачественного трафика. Расходы на этот трафик автоматически возвращаются на баланс рекламной кампании, а отфильтрованные показы и клики удаляются из всех основных отчётов статистики.
Количество недействительных кликов можно увидеть в отчётах Статистика по дням и Общая статистика отдельной строкой за весь выбранный период, а время на возврат обычно не превышает двух суток.
Может ли кто-то обойти все фильтры?
Гипотетически возможно всё. Мошенники постоянно пытаются изобретают новые способы склика — такая у них работа. А мы регулярно усиливаем меры безопасности на своих рекламных сервисах.
Расследование проводится по каждой жалобе на подозрительный трафик. И если клики действительно недобросовестные, мы возвращаем деньги за них и в кратчайшие сроки устраняем уязвимость — для защиты рекламодателя создаются дополнительные фильтры и на их основе совершенствуется вся система антифрода.
Кроме того, в Яндексе есть специальные службы мониторинга, которые помогают превентивно отслеживать фрод. Если общий объем трафика и процент отфильтрованных кликов начинают заметно отклоняться от нормы, наши аналитики сразу получают сигнал. Так они могут начать искать источник и цель атаки мошенников, не дожидаясь заявки от рекламодателя.
Абсолютное большинство попыток скликать рекламу обезвреживаются автоматически. Подтверждённые случаи фрода, которые за прошлый и позапрошлый год обнаружились только при ручной проверке, можно посчитать по пальцам одной руки.
Чаще по заявкам мы перепроверяем и корректируем статистику показов в Рекламной сети Яндекса (РСЯ). На тематических площадках, как и на поиске, применяется очень много различных фильтров. Но к всплескам показов они относятся мягче, поскольку в РСЯ объявление может по вполне адекватным причинам поймать волну интереса к своей тематике, а число показов здесь все равно не влияет на цену клика.
Для площадок в РСЯ работает отдельная служба модерации, которая не принимает в сеть сайты с сомнительным качеством трафика.
Что делать, если вы заметили всплеск показов или переходов по рекламе?
Для начала убедитесь, что у этого всплеска нет никаких разумных объяснений. Некоторые рекламодатели подозревают склик при любых скачках статистики. При расследовании таких историй специалисты чаще всего находят будничные причины отклонений от привычных показателей.
Например:
1. Изменились настройки размещения, и вашей ставки стало хватать для показа на более заметных позициях. Ещё вы могли расширить аудиторию за счет новых фраз или регионов показа. Частая причина «горбов» в статистике — работа стратегии «Недельный бюджет»: как только система видит возможность получить больше переходов по оптимальной цене, она сразу же старается её использовать.
2. Не забывайте, что вы делите трафик с конкурентами. Технические работы или поломки на популярных ресурсах часто влекут за собой вопросы про склик от рекламодателей в той же тематике. На всякий случай проверьте, всё ли хорошо у соседей по выдаче. Особенно если среди ваших ключевых слов есть названия конкурирующих брендов.
3. Сезон подкрался незаметно. Это бывает. Серьёзно. Прежде чем пугаться всплеска переходов по фразе «майонез оптом», проверьте, не случился ли он накануне Нового года.
4. Громкая реклама в офлайне. Не обязательно ваша, но подогревшая интерес к вашему товару. В канун праздников некоторые крупные магазины особенно активно рекламируют скидки.
5. Самые разные обстоятельства за пределами вашего бизнеса. Волны интереса к той или иной тематике довольно часто идут от от новостей и телепередач. Например, вот этот выпуск программы Елены Малышевой резко повысил число показов и кликов по запросу «люминиры». А до эфира этот запрос считался редким.
Иногда по вашим ключевым фразам ищут что-то ну совсем не связанное с вашим бизнесом. Возьмем хоть историю с поездами. Пару лет назад в Директ с жалобой на склик обратились производители железнодорожных вагонов. Оказалось, внезапный приток трафика на их сайт связан с растущей популярностью Subway Surfers — игры для мобильных, где персонажи бегают в подземке, уворачиваясь от поездов. В итоге автофокус решил проблему рекламодателя, дополнив список минус-слов запросами об играх.
Предугадать такие форс-мажоры невозможно. А вот знать ситуацию на вашем рынке и следить за тем, что вообще происходит в мире — полезная привычка, которая помогает вовремя скорректировать настройки показов. Раздел «Фразы по дням» в статистике кампании поможет вам с поиском причин роста трафика. Посмотрите, по каким запросам получили много переходов, и поищите всплески интереса к тем же фразам на сервисе подбора слов. В отдельной статье — «О важности обстоятельств для специалиста по контекстной рекламе» — можно изучить больше примеров того, как внешние факторы провоцируют рост рекламных показов и кликов.
6. Что касается роста иностранного трафика (популярный вопрос прошлого года), чаще всего он объясняется тем, что пользователи активно стремятся обойти региональную блокировку контента и используют сервисы, которые подменяют «прописку» DNS-сервера.
В любой непонятной ситуации вы можете обратиться за помощью или советом. Если вы перепроверили статистику и не нашли объяснений внезапному росту интереса, напишите заявку, чтобы рекламную кампанию дополнительно проверили на фрод. Мы серьезно относимся к качеству трафика и поможем вам разобраться, что произошло. Обязательно укажите в заявке номер кампании в Директе и период, когда у вас выросло число показов или кликов.
Эти данные не стоит заменять снимками отчётов Метрики — расследование ускоряют именно сведения о том, какую кампанию перепроверить и за какие даты. С номером кампании на руках специалисты могут сами посмотреть статистику по ней и проверить возможные причины всплеска.
Полный текст статьи читайте на Яндекс
