Спам – это ОК! Массовые рассылки как стимул развития цивилизации
Я застал те времена, когда спама еще практически не было — каждое рекламное письмо в моём электронном почтовом ящике казалось чем-то диковинным, и значительная их часть прочитывалась из чистого любопытства. Однако вскоре объём подобного мусора стал расти в геометрической прогрессии, появились трояны, рассылавшие свои копии по списку контактов на зараженной машине, потом жулики освоили фишинг… От спама страдали и продолжают страдать миллионы людей во всем мире. Но если бы спама не существовало, его, пожалуй, следовало бы придумать. И вот почему.
Те, кто помнит эпопею с пресловутым «Центром американского английского», заполонившим в начале нулевых почтовые ящики россиян своей назойливой рекламой, наверняка припомнят и то, что начались подобные массовые рассылки не вдруг. В девяностых почтовая реклама выглядела довольно примитивной: таким способом продвигались в основном чудо-средства для роста волос и увеличения других важных частей тела, целебные биологические добавки и финансовые пирамиды. В заголовках некоторых писем можно было даже увидеть список всех получателей. Отдельные сообщения были и вовсе адресными: реклама товаров и услуг отправлялась потенциально заинтересованной аудитории по сферам деятельности — этому способствовали многочисленные тематические интернет-каталоги фирм и их сайтов. Одним из переломных моментов в эволюции спам-индустрии можно считать появление краулеров, программ, автоматически собиравших адреса электронной почты на веб-страницах и объединявших их в базы. Одновременно с ними возникли и масс-мейлеры для рассылки спама, а базы адресов сделались ходовым товаром.
Помните этот феерический спам, ставший в конечном итоге нарицательным?
Достаточно было один-единственный раз «засветить» свой e-mail на каком-нибудь форуме, и последствия не заставляли себя ждать: уже через пару дней из почтового ящика приходилось выгребать тонны рекламного хлама. Борьба с этим явлением велась весьма примитивными методами: если где-то в публичном пространстве нужно было оставить адрес e-mail, его размещали в виде картинки, цифры заменяли текстом, а символ »@» — словом «собака», чтобы сбить с толку автоматические программы-сборщики. Зачастую люди просто заводили отдельный ящик «для спама», а «личным» адресом делились только в самом крайнем случае. Помогало, но ненадолго — спам каким-то чудом просачивался даже в те почтовые аккаунты, адреса которых вы хранили в строжайшем секрете.
Следующим эволюционным шагом на нелегком пути борьбы с массовыми рассылками стало появление настраиваемых почтовых фильтров. Поначалу правила фильтрации составлялись вручную: нужно было отобрать характерные заголовки и фрагменты текста рекламных сообщений, затем внести их в соответствующее окно программы, указав, что почтовый клиент должен сделать с таким письмом, и напоследок активировать каждое правило в отдельности. Прекрасно помню, как настраивал Outlook Express на автоматическое удаление писем от всяких «специалистов по продвижению» — занятие весьма медитативное и утомительное. Чуть позже стали распространяться готовые наборы антиспам-фильтров, которые можно было включить или отключить простым щелчком мыши. Но эффективность такой защиты все равно оставляла желать лучшего: во-первых, спамеры находили все новые и новые методы обхода алгоритмов фильтрации по шаблону — путем замены в тексте кириллических символов латиницей, добавлением в слова случайных пробелов или преобразованием текста сообщения в картинку. А во-вторых, из-за некорректной работы фильтров в спам нередко попадала важная и нужная корреспонденция, так что списки отправленных в соответствующую папку сообщений все равно приходилось просматривать — чего и добивались организаторы массовых рассылок.
«Черные списки», использовавшиеся в корпоративных почтовых системах в разгар «нулевых» — это отдельная песня с нецензурным припевом. Помню одно крупное питерское издательство, с которым я сотрудничал в те времена: их серверы были настроены на прием писем только с собственного домена и одной-единственной российской публичной службы e-mail, все остальное безжалостно выжигалось напалмом. Никакого спама, но зато и никаких полезных сообщений от авторов, клиентов и партнеров, если их угораздило зарегистрировать свой почтовый ящик где-то в другом месте — удобство превыше всего! Да и «публичные блэклисты», записи в которые порой вносились на основании того, что робот в процессе рассылки случайным образом подставил чей-то адрес из спамерской базы в качестве отправителя, приносили больше проблем, чем практической пользы. В общем, эффективность подобных антирекламных мер вызывала сомнения с самого начала. Хорошо, что такие списки в конечном итоге сгинули в небытие.
С распространением фишинга почтовые фильтры научились проверять содержащиеся письмах ссылки по базам потенциально опасных и вредоносных сайтов. Здесь разработчики столкнулись с той же сложностью, что и производители антивирусов, использующих сигнатурный анализ. Пока вредоносная или фишинговая ссылка не попала в базу, фильтр не считает ее опасной, а с момента появления такой ссылки до момента добавления ее в списки проходит определенное время. Злоумышленники быстро освоили и оптовую регистрацию доменов, и автоматическую генерацию вредоносных URL. Иными словами, в этой «войне брони и снаряда» преимущество обычно оставалось на стороне последнего.
Немного изменило ситуацию к лучшему появление эвристических алгоритмов и «самообучающихся фильтров» — это был следующий эволюционный шаг в борьбе со спамом. Эвристические алгоритмы анализируют текст письма на наличие определенных слов и выражений, характерных для рекламных писем, причем учитывают не только сам факт наличия этих слов, но также оценивают их взаимное расположение и контекст. Многие спам-сообщения используют специфическую HTML-разметку или скрытые теги. Эвристический анализ выявляет аномалии в разметке, такие как невидимые ссылки, скрытые блоки текста, изображения и иные трюки, применяемые спамерами для обхода фильтров. Проверяется также наличие ссылок в теле письма. Важна и обратная связь от пользователя: если фильтр считает полезное сообщение спамом, или наоборот, пропускает рекламу, пользователь может пометить его вручную для корректировки алгоритма и повышения точности фильтрации.
Нужно ли говорить, что организаторы массовых рассылок внимательно изучают принципы работы таких фильтров и активно ищут методы их обхода? Эвристика, вне всяких сомнений, в разы эффективнее фильтров на основе шаблонов, но все равно работает не идеально. Я регулярно замечаю, что алгоритмы нет-нет, да отправляют в спам полезные рассылки от различных сервисов, а рекламу и фишинговые сообщения, наоборот, пропускают.
Наконец, относительно недавно на поле борьбы с массовыми рассылками — как рекламными, так и вредоносными — вышел искусственный интеллект, подкрепленный технологиями машинного обучения. В отличие от набора статических правил и традиционных эвристических алгоритмов, ML-подходы способны постоянно обучаться, самостоятельно обнаруживать новые паттерны спама и даже предугадывать, что является рекламой, а что — нет. Эти алгоритмы первоначально обучаются на огромных массивах данных, содержащих примеры как спам-сообщений, так и нормальной почты. Модель анализирует, какие признаки характерны для каждого типа писем, и самостоятельно строит правила, позволяющие идентифицировать спам даже в новых формах. Для этого применяют различные методы классификации, такие как логистическая регрессия, деревья решений, метод опорных векторов (SVM).
Более сложные и продвинутые системы могут использовать рекуррентные нейронные сети (RNN) или трансформеры. Эти архитектуры способны анализировать текст сообщений и понимать их контекст, что особенно полезно для выявления спама с необычными паттернами. Анализ содержания писем обычно выполняется на основе алгоритмов математической лингвистики и обработки текстов на естественном языке (NLP), вроде модели Word2Vec. ИИ-системы также способны выявлять аномалии в типичных коммуникационных паттернах: они уже сейчас умеют строить профили «нормального» поведения пользователя, чтобы затем выделять подозрительные сообщения, выбивающиеся из этой «нормы». А комбинирование и объединение нескольких алгоритмов увеличивает общую точность и качество фильтрации почтового трафика. Например, один алгоритм оценивает текст письма, другой — структуру, третий — поведение отправителя, а итоговое решение принимается на основе результата их совокупной работы. Против такого «Терминатора» с искусственным интеллектом у спамеров не так уж много шансов. Хотя организаторы массовых рассылок сами охотно берут на вооружение возможности нейросетей, так что и против этого «лома» рано или поздно найдется какой-нибудь хитрый приём.
Если с некоторой долей условности разместить все эти методы борьбы со спамом на временной шкале, то мы увидим, что прогресс технологий, эволюционировавших от простых настраиваемых вручную фильтров до применения нейросетей, в последние годы заметно ускорился.
Эволюция технологий борьбы со спамом
И знаете что? Интернет благодаря этому в целом стал намного безопаснее. Так, в фильме с участием Яндекс 360 о кибербезопасности «Цифровая тень: как крадут наши деньги?» прозвучала интересная статистика: 99% россиян в возрасте от 20 до 55 лет пользуются электронной почтой, и это на 10% больше аудитории популярных мессенджеров. Ранее компания делилась следующими данными: с начала 2024 года она заблокировала с помощью Спамообороны свыше 16 млрд. потенциально опасных писем, то есть, около 25% всего почтового трафика отказывается спамом. Что вызывает удивление в этих цифрах? Во-первых, несмотря на наступившую эпоху мобильных устройств и приложений вроде «Телеграма» и «Вотсапа», электронная почта по-прежнему остается основным инструментом коммуникации в интернете. А во-вторых, четверть от всего объема пересылаемых в сети писем — это очень, очень много.
Эти данные косвенно подтверждаются независимыми исследованиями, опубликованными на платформе IEEEXplore: количество отправляемых ежедневно сообщений электронной почты непрерывно растет: в 2024 году оно достигло 361,6 миллиардов писем, а к 2026 году должно превысить 392 миллиарда.
Количество ежедневно отправляемых и получаемых сообщений электронной почты, 2017–2026, по данным IEEE Xplore
При этом по данным агентства 99firms.com, среди мировых источников спама со значительным отрывом лидирует Россия.
Распределение стран по объему рассылаемого спама, 99firms.com
И если люди среднего возраста, буквально выросшие с компьютером в обнимку, еще способны скептически отнестись к письмам от адвокатов покойного нигерийского принца, и с опаской смотрят на вложенные в сообщения «фотографии» с расширениями .lnk и .js, то их пожилые родители попадают в группу риска просто в силу возраста. Порой очень трудно объяснить семидесятилетней маме, почему не стоит доверчиво переходить по ссылке в письме якобы от «Администратора вашего почтового ящика» с сообщением о том, что настало время сменить пароль, особенно если этот администратор — ее сын, использующий собственный почтовый сервер, и ему в случае необходимости можно просто позвонить. То же касается и детей, падких на обещания халявы, и безоглядно подписывающихся на любые сомнительные сервисы и рассылки в поисках читов для игр и готовых решений домашки по математике. В подобных случаях механизмы фильтрации почты и «умные ассистенты» на основе ИИ придутся очень кстати. Там, где естественный интеллект начинает буксовать, должен работать искусственный.
Есть и еще один важный аспект. До недавнего времени приемы борьбы с рекламными и вредоносными рассылками были реактивными: то есть, спамеры придумали новый метод обхода фильтров или начали использовать не встречавшийся ранее приём социальной инженерии — разработчики приложений ответили очередным правилом фильтрации и обновлением баз. А вот ИИ и ML-инструменты не просто реагируют на угрозы, появившиеся примерно позавчера, а адаптируются к эволюции спама. Благодаря способности самообучения такие фильтры поддерживают высокую эффективность даже при изменении тактики со стороны организаторов рассылок. Новые виды рекламных и мошеннических писем будут отфильтровываться быстрее, а число ложноположительных срабатываний должно, наоборот, пропорционально уменьшиться. Вряд ли это поможет полностью победить само это явление, но жизнь спамерам подпортит точно.
Так, по данным исследования IEEEXplore, использование ML-алгоритмов позволило повысить точность обнаружения спама до 95–99%. Системы на основе машинного обучения адаптируются к новым типам спама гораздо быстрее, чем инструменты на основе шаблонов или заранее запрограммированные фильтры. Другое исследование той же компании показывает, что такие алгоритмы, как байесовская фильтрация и методы глубокого обучения, способны значительно сократить количество ложноположительных срабатываний (например, при использовании подходов на основе обработки естественного языка). Основанные на ИИ антиспам-системы умеют прогнозировать поведение спамеров, что делает такие фильтры менее уязвимыми для методов обхода, которые часто используются организаторами массовых рассылок.
Но как бы ни совершенствовались методы защиты от спама, фишинга и распространения вредоносных программ, «спор брони и снаряда» не прекращается. С ростом изощренности спам-атак, особенно тех, что направлены на обман вероятностных и байесовских алгоритмов, требуются все более гибкие и умные технологии фильтрации. Этот процесс напоминает своеобразную гонку вооружений: каждое новое улучшение в технологиях антиспама стимулирует спамеров на разработку более продвинутых способов обхода, что, в свою очередь, ускоряет развитие и совершенствование защитных систем. В итоге повышается устойчивость всей инфраструктуры электронной почты и снижаются риски для конечных пользователей. Новые инструменты на основе искусственного интеллекта и машинного обучения помогают защищать их не только от уже существующих, но также от еще неизвестных угроз. Вот почему лично я считаю спам двигателем прогресса: он, безусловно, вреден, но благодаря ему цифровой мир в конечном итоге становится чуточку безопаснее.
