Релиз системы фильтрации спама Rspamd 1.325.07.2016 23:15

Доступен релиз системы фильтрации спама Rspamd 1.3, предоставляющей средства для оценки сообщений по различным критериям, включая правила, статистические методы и чёрные списки, на основе которых формируется итоговый вес сообщения, используемый для принятия решения о необходимости блокировки. Код системы написан на языке Си и распространяется под лицензией BSD.

Rspamd построен с использованием событийно-ориентированной архитектуры (Event-driven) и изначально рассчитан на применение в высоконагруженных системах, позволяя обрабатывать сотни сообщений в секунду. Правила для выявления признаков спама отличаются высокой гибкостью и в простейшем виде могут содержать регулярные выражения, а в более сложных ситуациях могут оформляться на языке Lua. Расширение функциональности и добавление новых типов проверок реализуется через модули, которые могут создаваться на языках Си и Lua. Например, доступны модули для проверки отправителя с использованием SPF, подтверждения домена отправителя через DKIM, формирования запросов в списки DNSBL. Для упрощения настройки, создания правил и отслеживания статистики предоставляется административный web-интерфейс.

Основные новшества:

Возможность работы в режиме прокси, перенаправляющего запросы к другим экземплярам Rspamd. Наиболее интересной областью применения нового режима является организация тестирования экспериментальных конфигураций. В частности, кроме отправки запросов на основной стабильный сервер, прокси может дополнительно зеркалировать определённый процент запросов на тестовые серверы, сравнивать принятые решения и отражать изменения в логе. Кроме того, прокси может шифровать трафик и обеспечивать быстрый механизм перенаправления локальных соединений;
Добавлена поддержка зеркалирования хранилищ шаблонов для проверки по хэшам нечеткого соответствия (fuzzy), которая позволяет применять master-slave реплицирование, создавать распределённые отказоустойчивые хранилища и формировать коллекции хэшей через объединение разных источников;
Возможность применения протокола HTTPS для доступа к HTTP-ресурсам, таким как базы OpenPhish и PhishTank, используемые в модуле выявления фишинга;
Во всех модулях Rspamd добавлена поддержка применения кластера из СУБД Redis с раздельным распределением запросов на серверы, обслуживающие операции чтения и записи;
Расширение возможностей фильтрации контента. Добавлена поддержка извлечения списка файлов из некоторых типов архивов (zip, rar), что позволяет блокировать известные виды нежелательных вложений, которые пытаются скрыть через передачу в заархивированном виде. В плагин mime_types добавлена поддержка таких косвенных признаков вредоносной активности, как дублирование расширений (filename.pdf.exe), упаковка архива в архиве и применение расширений из чёрного списка. В плагине multimap реализовано сканирование содержимого сообщений, что можно использовать для блокирования типовых шаблонов, заданных в форме регулярных выражений;
Встроенная поддержка серых списков, не требующая задействования внешних приложений, таких как Rmilter. Rspamd теперь может самостоятельно добавлять задержку при приёме подозрительных сообщений;
Добавлен модуль Replies, реализующий функциональность Rmilter по сохранению идентификаторов исходящих сообщений и автоматическому добавлению в белый список приходящих ответов, связанных с сохранёнными идентификаторами;
Поддержка формирования подписей DKIM в доплнение к ранее поддерживаемым проверкам корректности подписей DKIM;
В WebUI добавлен график для наглядной оценки объёма обработанных обращений, построенный с использованием библиотеки d3.js. В интерфейс также добавлены средства для тренировки шаблонов нечеткого соответствия.