Как мы боремся со злоумышленниками на Google Картах
Дэн Притчетт, главный программный инженер
В Google Картах мы строим маршруты, читаем отзывы, смотрим фотографии и ищем разную другую информацию, которая помогает нам принимать решения.
Часть этой информации мы получаем от пользователей. С 2010 года они могут загружать свой контент на Карты, и с тех пор более 970 миллионов человек приняли участие в развитии сервиса: они добавляли свои отзывы, фотографии, оценки и такую информацию, как, например, адреса и часы работы организаций. Это позволяет Google Картам оставаться актуальными в быстро меняющемся мире и помогает людям принимать более взвешенные решения.
К сожалению, в онлайн-пространстве, как и в реальном мире, есть злоумышленники, которые создают неприемлемый контент. И наша борьба с ними зачастую скрыта от глаз пользователей. Однако мы хотим немного рассказать об этой работе и наших результатах.
Как мы вычисляем злоумышленников
Злоумышленники вводят людей в заблуждение, используя различные способы: от поддельных отзывов, вредящих имиджу компаний, до накрутки рейтинга заведений с помощью недостоверных оценок.
Для того, чтобы распознать действия злоумышленников, важно понимать, как обычно действуют честные пользователи Google Карт. Как правило, люди ищут маршруты, рестораны и сервисы неподалеку от своего местонахождения, а отзывы, оценки и фотографии, которые они добавляют, сгруппированы по локациям.
Алгоритмы машинного обучение ежедневно сканируют миллионы материалов, добавляенных пользователями. Это помогает им распознавать нетипичное поведение пользователей и удалять контент, нарушающий наши правила. Например, если с нового аккаунта Google Карт в Бангкоке неожиданно оставляют негативные отзывы на автосалон в Мехико и ставят одну звезду ресторану в Чикаго, наши алгоритмы смогут это обнаружить. Нарушающий правила контент автоматически удаляется или направляется на проверку вместе с подозрительным аккаунтом.
У нас также работает большая команда специалистов, которая анализирует контент, с которым алгоритмам трудно работать — например, отзывы, содержащие местный сленг.
Кто такие злоумышленники и как их остановить?
Команды специалистов и защитные механизмы борются с двумя основными типами злоумышленников: мошенниками и создателями поддельного контента. Они стремятся выводить определенные компании на первые места результатов поиска.
Чтобы помешать мошенникам, мы превентивно лишаем их возможности получать прибыль от таких действий.К примеру, мы сконцентрировались на контенте, который создают фишинговые сайты — они публикуют поддельные отзывы и оставляют предвзятые оценки. Мы распознаем активность таких компаний и предпринимаем действия, благодаря которым таким ресурсам становится сложнее публиковать недобросовестный контент и, соответственно, найти покупателей на отзывы и заработать.
Более того, мы стараемся отфильтровывать поддельные профили компаний до того, как они появятся на Google Картах. Для этого мы с помощью алгоритмов машинного обучения улучшили процесс верификации в сервисе Google Мой бизнес. Препятствуя масштабному созданию поддельных профилей компаний, мы предотвратили миллионы попыток мошенничества.
Часто создателей поддельного контента мотивируют какие-то события или просто желание оставить свой след в интернете, поэтому они публикуют поддельные отзывы, меняют названия мест или добавляют фотографии не по теме.
Чтобы препятствовать таким активностям, нужны предупредительные меры и ситуативное реагирование. Когда какие-то места становятся уязвимы, мы модифицируем защитные механизмы. Например, в прошлом году в связи с коронавирусом был всплеск ксенофобии к определенным социальным группам — мы быстро адаптировали наши алгоритмы, чтобы превентивно блокировать расистские отзывы.
Наши достижения в борьбе с нежелательным контентом
Наши сотрудники и технологии помогают нам круглосуточно наблюдать за происходящим на Google Картах. Это позволяет быстро реагировать на действия мошенников. В 2020 году мы предприняли следующие действия, чтобы обеспечить достоверность информации в Google Картах:
Мы заблокировали и удалили более 35 миллионов нарушающих наши правила отзывов и почти 3 миллиона поддельных профилей компаний. Это на 40 миллионов отзывов меньше, чем в 2019 году. В основном это связано с нашими прошлыми успехами в предотвращении публикации ложной информации и тем, что общее количество отзывов снизилось из-за коронавируса COVID-19.
Мы удалили более 960 000 отзывов и 300 000 профилей компаний, о которых нам сообщили пользователи Google Карт. Это больше, чем в 2019 году, поскольку мы задействовали автоматизированные инструменты фильтрации. Они дополняют ручную проверку отмеченного контента, которую выполняют наши операторы и аналитики
Мы проверили и удалили более 160 миллионов фотографий и 3,5 миллиона видео, которые нарушали наши правила или были опубликованы в низком качестве. Например, благодаря улучшению алгоритмов мы значительно продвинулись в распознавании сильно расплывчатых снимков. В результате качество как новых, так и добавленных ранее фотографий в Google Картах существенно повысилось. Мы удаляли поддельные аккаунты вместе со всем добавленным через них контентом — иногда это всего один аккаунт, но тысяча фотографий.
Мы заблокировали более 610 000 пользовательских аккаунтов после обнаружения и расследования подозрительного и нарушающего правила поведения.
Мы остановили более 3 миллионов попыток злоумышленников подтвердить бизнес-профили компаний, которые им не принадлежали.
Пользовательский контент играет важную роль в том, чтобы информация в Google Картах всегда оставалась корректной и полезной для всех. Поскольку все больше людей делится своими впечатлениями на Google Картах, мы продолжим совершенствовать наши правила и алгоритмы, необходимые для гарантии достоверности информации.
