Доступна система индексации сетевого трафика Arkime 3.111.10.2021 23:45

Подготовлен релиз системы для захвата, хранения и индексации сетевых пакетов Arkime 3.1, предоставляющей инструменты для наглядной оценки потоков трафика и поиска информации, связанной с сетевой активностью. Изначально проект был разработан компанией AOL с целью создания открытой и развёртываемой на своих серверах замены коммерческим платформам обработки сетевых пакетов, способной масштабироваться для обработки трафика на скоростях в десятки гигабит в секунду. Код компонента для захвата трафика написан на языке Си, а интерфейс реализован на Node.js/JavaScript. Исходные тексты распространяется под лицензией Apache 2.0. Поддерживается работа в Linux и FreeBSD. Готовые пакеты подготовлены для Arch, CentOS и Ubuntu.

Arkime включает инструменты для захвата и индексации трафика в штатном формате PCAP, а также предоставляет средства для быстрого доступа к проиндексированным данным. Применение формата PCAP существенно упрощает интеграцию с существующими анализаторами трафика, такими как Wireshark. Объём хранимых данных ограничивается только размером имеющегося дискового массива. Метаданные о сеансах индексируются в кластере на базе движка Elasticsearch.

Для анализа накопленной информации предлагается web-интерфейс, позволяющий выполнять навигацию, поиск и экспорт выборок. В web-интерфейсе предусмотрено несколько режимов просмотра — от общей статистики, карты соединений и наглядных графиков с данными об изменении сетевой активности до инструментов для изучения отдельных сеансов, анализа активности в разрезе используемых протоколов и разбора данных из PCAP-дампов. Также предоставляется API, позволяющий передавать в сторонние приложения данные о захваченных пакетах в формате PCAP и разобранных сеансах в формате JSON.

Arkime состоит из трёх базовых компонентов:

Система захвата трафика — многопоточное приложение на языке Си для мониторинга трафика, записи дампов в формате PCAP на диск, разбора захваченных пакетов и отправки метаданных о сеансах (SPI, Stateful packet inspection) и протоколах в кластер Elasticsearch. Возможно хранение PCAP-файлов в зашифрованном виде.
Web-интерфейс на базе платформы Node.js, который запускается на каждом сервере захвата трафика и обрабатывает запросы, связанные с доступом к проиндексированным данным и передачей PCAP-файлов через API.
Хранилище метаданных на базе Elasticsearch.

В новом выпуске:

Добавлена поддержка протоколов IETF QUIC, GENEVE, VXLAN-GPE.
Добавлена поддержка типа Q-in-Q (Double VLAN), позволяющего инкапсулировать теги VLAN в теги второго уровня для расширения числа VLAN-ов до 16 млн.
Добавлена поддержка типа полей «float».
Модуль записи в Amazon Elastic Compute Cloud переведён на использование протокола IMDSv2 (Instance Metadata Service).
Проведён рефакторинг кода для добавления UDP-туннелей.
Добавлена поддержка elasticsearchAPIKey и elasticsearchBasicAuth.

Источник: http://www.opennet.ru/opennews/art.shtml? num=55950