2016-06-29 11:31 GMT-07:00 Serge Negodyuck <petr@petrovich.kiev.ua>:

Hi All,

А не в курсе ли кто, какие нынче существуют вменяемые решения для сбора и анализа большого количества логов (а-ля Splunk)?

Хотелки:

* импорт логов в разном формате (apache, json, tsv, etc)

* возможность делать поиск/агрегацию по этим самым логам

* масштабируемость (логов по несколько ГБ с сервера, серверов - 1000+)

* возможность генерить алерты по агрегированным данным
* open source или вменяемая ценовая политика

* (желательно) выбор между деплойментом у себя или SaaS

Сейчас смотрю в сторону ElasticSearch+Logstach+Kibana  плюс складирование архивов в AWS S3. Но вдруг какие-то альтернативы имеются, о которых я не в курсе ?

Хотел написать про ELK, но ты уже в курсе.

Эластик, кстати, почти штатно на  s3 умеет себя экспортировать
Вот, кстати,  скриншот живого решения.Кушает всего по 1GB памяти на ноду, почти не есть CPU, и это "фоновый" сервис, ноды заняты другой основной работой.

Да, пока что ELK выглядит похоже на то, что требуется (потому туда и копаю в первую очередь).
Кстати, как там с задержками при индексировании большого потока логов?

А то у нас с тем же спланком возникали проблемы при пиковой нагрузке.