[Перевод] 8 облачных анализаторов логов для оценки рабочей среды

Увеличение количества устройств, повышение квалификационных требований, оптимизация процесса сбора данных необходимы для любого вида бизнеса. Анализ логов может дать вам реальное представление о том, что происходит в вашей информационной среде. Вот некоторые примеры, функционирующие в реальном времени:

  • планирование производительности
  • раннее обнаружение проблемы
  • актуальная отчетность
  • управление доступностью


Если у вас несколько мегабайт лог-файлов, тогда их можно просмотреть вручную, но когда вы работаете в среднем и корпоративном бизнесе, где объем логов исчисляется гигабайтами, тогда ручной анализ превращается в кошмар.

3x5oj0umytgpswiw_ootlhcolj8.png

Если вы ищете решение для мониторинга и анализа логов ваших веб-приложений, включая инфраструктуру, вы можете рассмотреть следующие средства для работы с логами. Большинство из них имеют слегка урезанную бесплатную версию, в которой вы можете попробовать поработать.

Список анализаторов логов:


Loggly
SumoLogic
Splunk
Papertrail
Logz.io
Timber
Logentries
Logsene

Loggly


Loggly одно из самых популярных решений для управления логами, подходит для анализа данных практически из любого источника, включая следующие:

  • веб-приложения — Apache, Nginx, PHP, Node.js, .NET, Java, JavaScript
  • операционные системы — Linux, Windows


С помощью Loggly вы можете собирать данные (логи) для анализа и создавать содержательные информационные панели для мониторинга необходимых показателей. Разумеется, вы можете осуществлять поиск в логах из интерфейса Loggly.

jymhgi0lmveyyx2l-rhm2i02xpa.png

Loggly обладает мощной поисковой системой, в которой вы можете настраивать и устанавливать фильтры для всего текста, одного поля и булевских значений. Вы можете также привязать электронную почту, PageDuty, Slack, HipChat и т.д., чтобы получать оповещения.

SumoLogic


Получите информационную аналитику в режиме реального времени с помощью SumoLogic для мониторинга, анализа, устранения проблем и защиты бизнес приложений и инфраструктуры.

У SumoLogic есть агент-сборщик/облачный сборщик, который необходимо установить на ваш сервер для передачи логов в SumoLogic. Вы можете преобразовывать любые типы логов составляя наглядную картину происходящего, обновляющуюся в реальном времени, для мониторинга и оповещения о достижении заданных границ.

2ixmywjoxzpihr4yod5gvnbrp5i.png

SumoLogic имеет несколько заранее настроенных приложений, основанных на наиболее распространенных способах применения для ускорения работающих задач и изучения проблем.

Примеры приложений для:

  • mongoDB — отслеживание общего состояния, оптимизация запросов, мониторинг безопасности;
  • AWS Lambda — проактивный мониторинг, обзор затрат, углубленное изучение;
  • AWS — определение проблем производительности, активный контроль безопасности, расширенная аналитика;
  • Salesforce — улучшение адаптации для пользователей, аудиторские проверки, сравнение данных;
  • Trend Micro — анализ уязвимости, история событий, улучшение визуализации атак;
  • Github — визуализация командной производительности, создание базовых показателей использования;
  • Docker — расширенная аналитика, устранение проблем;
  • Linux — устранение неполадок и оптимизация ОС, оповещения о доступе/проверке и событиях безопасности, отслеживание показателей производительности;
  • Nginx — обзор, локация посетителей, время отклика, выявление узких мест в производительности;
  • Apache — взаимодействие с посетителями, оптимизация производительности, визуализация посетителей;
  • IIS — комплексная информация, статистика трафика, поиск медленных страниц;
  • MySQL — общее состояние, ключевые ошибки, мониторинг производительности запросов.


В бесплатной версии вы получите 500 мегабайт в день с 7-дневным хранением данных с любым исходным типом собираемых данных.

Splunk


Splunk Cloud доступен в 10 регионах AWS по всему миру для сбора и индексирования любого типа информации. Splunk — это быстрый и простой способ анализа и визуализации данных, создаваемых на физических, облачных или виртуальных устройствах.

-pc_bb1qngczm6vifo1-520z5tm.jpeg

С помощью Splunk вы можете отслеживать и визуализировать данные и настраивать пороговые показатели для оповещений. Я не видел бесплатной версии, но у них есть пробная версия, позволяющая анализировать и визуализировать данные объемом 5 ГБ в течение 15 дней.

Papertrail


Papertrail может собирать данные из syslog, text, Apache, MySQL, приложений Heroku, журнала событий Windows, маршрутизаторов, брандмауэров, RubyOnRails и многого другого.

Вы можете выполнять поиск в режиме реального времени с помощью браузера, командной строки или API и получать оповещения по электронной почте или Slack.

0pxxdnwoow7mla59t-gaiysvbvk.jpeg

Logz.io


Logz.io предоставляет размещение ELK как услугу. ELK (Elastic Search, Logstash, Kibana) — одна из самых популярных платформ для анализа с открытым исходным кодом. Если вы ищете гибкую платформу для обработки логов, то Logz.io будет вам полезен.

Logz.io может индексировать данные почти всех современных технологий и предоставлять вам подробный анализ с визуализацией данных и оповещениями.

nw8jzb9gprdeu-h5yjqs--z7pqm.png

Некоторые поддерживаемые технологии:

  • Apache HTTP/Tomcat
  • Nginx
  • Hadoop
  • Heroku
  • Node.js
  • mongoDB
  • postgreSQL
  • Windows
  • Linux
  • AWS


Бесплатная версия предлагает три дня хранения с 1 ГБ данных в день.

Timber


Отслеживание в режиме реального времени, современная система фильтрации, быстрый поиск, а также возможность интеграции Timber с вашим приложением или платформой.

n0m3tjacqi_ru-2jdonp8n79moc.png

Библиотеки доступны для Node, Ruby и Elixir и поддерживают многие платформы, включая следующие:

  • Logstash
  • Zeit (Now)
  • AWS Lambda
  • Docker
  • Linux
  • Heroku
  • Kubernetes


Вы можете начать с бесплатной версии и опробовать эту платформу.

Logentries


Отправьте любые данные в Logentries для немедленного поиска и визуализации данных. Вы можете следить за логами в пользовательском интерфейсе Logentries и немедленно получать оповещения о необходимых значениях.

Оповещения могут быть переданы в Slack, Hipchat, Pagerduty или при помощи вебхуков. Logentries предоставляет REST API для запроса ваших логов для визуализации.

5byd_2xa4k8rpqahvgbbubbeoxc.png

В бесплатной версии вы можете отправить данные объемом до 5 ГБ, а срок хранения составляет семь дней.

Logsene


Logsene от Sematext — это ваш облачный управляемый ELK Stack для управления и анализа логов. Вы можете отправлять логи через зашифрованные каналы из любого источника, включая Syslog.

Он работает на AWS и поддерживает SOC, SSAE, FISMA, DIACAP, HIPPA и др.

zbjnircnsldlhc6ey8_bvbvc5oc.png

Попробуйте демо-версию, чтобы понять принцип работы.

Я надеюсь, что эти облачные анализаторы журналов помогут вам искать, анализировать и визуализировать свои данные и облегчат ИТ-аналитику.

y_yt-wuvgsowt5sze71h8ccc9wm.png

LOOKING.HOUSE — на проекте собрано более 150 точек looking glass в 40 странах. Можно быстро выполнить команды host, ping, traceroute и mtr.

pgkgs_zfqdxpuqwhylzntcrg4i0.png

© Habrahabr.ru