Re: [uanog] Q: Solution for logs indexing/analysis

29 июня 2016 г., 21:41 пользователь Michael Bochkaryov < misha@rattler.kiev.ua> написал:

2016-06-29 11:31 GMT-07:00 Serge Negodyuck :

...

Hi All,

...

А не в курсе ли кто, какие нынче существуют вменяемые решения для сбора и анализа большого количества логов (а-ля Splunk)?

Хотелки: * импорт логов в разном формате (apache, json, tsv, etc) * возможность делать поиск/агрегацию по этим самым логам * масштабируемость (логов по несколько ГБ с сервера, серверов - 1000+) * возможность генерить алерты по агрегированным данным * open source или вменяемая ценовая политика * (желательно) выбор между деплойментом у себя или SaaS

Сейчас смотрю в сторону ElasticSearch+Logstach+Kibana плюс складирование архивов в AWS S3. Но вдруг какие-то альтернативы имеются, о которых я не в курсе ?

Хотел написать про ELK, но ты уже в курсе.

Эластик, кстати, почти штатно на s3 умеет себя экспортировать Вот, кстати, скриншот живого решения.Кушает всего по 1GB памяти на ноду, почти не есть CPU, и это "фоновый" сервис, ноды заняты другой основной работой.

Да, пока что ELK выглядит похоже на то, что требуется (потому туда и копаю в первую очередь). Кстати, как там с задержками при индексировании большого потока логов? А то у нас с тем же спланком возникали проблемы при пиковой нагрузке.

Ну как сказать, все же зависит от ресурсов, как всегда. Потолок logstash где-то 200-2000Kb/sec на ядро, в зависимости от характера логов. И где-то столько же нужно эластику за ним.