Доступна система фильтрации спама Rspamd 1.913.03.2019 00:18

Состоялся релиз системы фильтрации спама Rspamd 1.9, предоставляющей средства для оценки сообщений по различным критериям, включая правила, статистические методы и чёрные списки, на основе которых формируется итоговый вес сообщения, используемый для принятия решения о необходимости блокировки. Rspamd поддерживает практически все возможности, реализованные в SpamAssassin, и имеет ряд особенностей, позволяющих фильтровать почту в среднем в 10 раз быстрее, чем SpamAssassin, а также обеспечивать лучшее качество фильтрации. Код системы написан на языке Си и распространяется под лицензией Apache 2.0.

Rspamd построен с использованием событийно-ориентированной архитектуры (Event-driven) и изначально рассчитан на применение в высоконагруженных системах, позволяя обрабатывать сотни сообщений в секунду. Правила для выявления признаков спама отличаются высокой гибкостью и в простейшем виде могут содержать регулярные выражения, а в более сложных ситуациях могут оформляться на языке Lua. Расширение функциональности и добавление новых типов проверок реализуется через модули, которые могут создаваться на языках Си и Lua. Например, доступны модули для проверки отправителя с использованием SPF, подтверждения домена отправителя через DKIM, формирования запросов в списки DNSBL. Для упрощения настройки, создания правил и отслеживания статистики предоставляется административный web-интерфейс.

Основные новшества:

В состав включён модуль External Services для взаимодействия с внешними сервисами, позволяющий обращаться к сторонним фильтрам контента и системам сканироваиня вирусов при помощи протокола ICAP (Internet Content Adaptation Protocol). Поддерживается интеграция с ClamAV (через c-icap и squidclamav), Sophos (через SAVDI), Symantec Protection Engine for Cloud Services и Kaspersky Web Traffic Security 6.0. Возможно прямое использование фильтров DCC и VadeSecure, а также анализ OLE и файлов MS Office при помощи Python-модуля oletools;
Добавлена новая команда «mime modify», позволяющая вносить изменения в сообщения, в том числе добавлять или удалять заголовки, прикреплять футеры к HTML и текстовым частям, переделывать тему письма. Например, для добавления текста из файлов footer.txt и footer.html и добавлении к заголовку слова «TEST» можно выполнить команду 'rspamadm mime modify --text-footer=footer.txt --html-footer=footer.html --rewrite-header=«Subject=TEST: %s»'. Имеется полноценная поддержка MIME, multipart-сообщений с вложениями, разных кодировок, исключения подписанных и зашифрованных сообщений;
Добавлена новая команда «sign», позволяющая добавлять к сообщениям DKIM-подписи с использованием указанного закрытого ключа. В сочетании с «mime modify» новая команда позволяет автоматизировать добавление цифровой подписи к сообщениям, генерируемым списками рассылки или локальными скриптами;
В HTTP-клиент на языке Lua добавлена поддержка HTTP Keep-Alive, позволяющего оптимизировать обработку повторяющихся обращений к определённым внешним сервисам;
Реализован новый клиент на языке Lua, позволяющий отправлять запросы по протоколу UDP;
Улучшен код для нормализации символов Unicode и выявления аномалий;
Добавлена утилита «rspamadm configgraph» для визуализации конфигурации в форме графа (для построения графа используется graphviz);
В дополнение к встроенным обработчикам (discard, reject, rewrite subject, add header и т.п.) появилась возможность определения произвольных действий со своим порогом срабатывания;
Предложен новый парсер заголовков «Received», который поддерживает в том числе разбор заголовков «Received, не соответствующих требованиям RFC;
Добавлена поддержка URL-схемы «tel:», применяемой для указания ссылок на телефонные номера. Новая возможность может быть использования для создания чёрных списков телефонных номеров, используемых в спаме и фишинге;
Добавлена поддержка цифровых подписей DKIM на базе ED25519. Для генерации ключей для ED25519 следует использовать команду «rspamadm dkim_keygen -t ed25519»;
Добавлена возможность определения собственных функций на языке Lua, расширяющих возможности модуля Regexp;
Добавлена поддержка чтения файлов из архивов gzip, что позволяет создавать фильтры для блокирования писем с прикреплёнными бэкдорами и майнерами;
Реализован расширенный метод определения типов почтовых вложений, позволяющий использовать libmagic для выявления истинного типа вложений, независимо от содержимого заголовка «Content-Type».