Re: [uanog] Q: Solution for logs indexing/analysis

2016-06-30 18:58 GMT-07:00 Mykola Ulianytskyi :

+1 к Filebeat + Logstash + ElasticSearch + Kibana + Curator

Кстати, а есть ли какие-то противопоказания для применения fluentd вместо Logstash? Выглядит достаточно интересно, т.к. можно направить логи одновременно и в Elasticsearch, и в какой-нибудь архив (S3, etc).

Только брать последние стабильные версии - в них поприятнее с быстродействием, особенно в Logstash, а в Kibana фич побольше.

Кстати, а насколько имеет смысл запускать Elasticsearch поверх Hadoop? Навскидку нагуглить кейсы, когда это обоснованно, я что-то не смог.

-- With best regards, Mykola

2016-06-29 21:11 GMT+03:00 Michael Bochkaryov :

...

Hi All,

А не в курсе ли кто, какие нынче существуют вменяемые решения для сбора и анализа большого количества логов (а-ля Splunk)?

Хотелки: * импорт логов в разном формате (apache, json, tsv, etc) * возможность делать поиск/агрегацию по этим самым логам * масштабируемость (логов по несколько ГБ с сервера, серверов - 1000+) * возможность генерить алерты по агрегированным данным * open source или вменяемая ценовая политика * (желательно) выбор между деплойментом у себя или SaaS

Сейчас смотрю в сторону ElasticSearch+Logstach+Kibana плюс складирование архивов в AWS S3. Но вдруг какие-то альтернативы имеются, о которых я не в курсе ?

Splunk не предлагать - хорош, но сильно уж дорого обходится.

Regards, Michael Bochkaryov