2016-06-30 18:58 GMT-07:00 Mykola Ulianytskyi <lystor@gmail.com>:

+1 к Filebeat + Logstash + ElasticSearch + Kibana + Curator

Кстати, а есть ли какие-то противопоказания для применения fluentd вместо Logstash?

Выглядит достаточно интересно, т.к. можно направить логи одновременно и в Elasticsearch, и в какой-нибудь архив (S3, etc).

Только брать последние стабильные версии - в них поприятнее с
быстродействием, особенно в Logstash,
а в Kibana фич побольше.

Кстати, а насколько имеет смысл запускать Elasticsearch поверх Hadoop?

Навскидку нагуглить кейсы, когда это обоснованно, я что-то не смог.

--
With best regards,
Mykola

2016-06-29 21:11 GMT+03:00 Michael Bochkaryov <misha@rattler.kiev.ua>:
> Hi All,
>
> А не в курсе ли кто, какие нынче существуют вменяемые решения для сбора и
> анализа большого количества логов (а-ля Splunk)?
>
> Хотелки:
> * импорт логов в разном формате (apache, json, tsv, etc)
> * возможность делать поиск/агрегацию по этим самым логам
> * масштабируемость (логов по несколько ГБ с сервера, серверов - 1000+)
> * возможность генерить алерты по агрегированным данным
> * open source или вменяемая ценовая политика
> * (желательно) выбор между деплойментом у себя или SaaS
>
> Сейчас смотрю в сторону ElasticSearch+Logstach+Kibana плюс складирование
> архивов в AWS S3. Но вдруг какие-то альтернативы имеются, о которых я не в
> курсе ?
>
> Splunk не предлагать - хорош, но сильно уж дорого обходится.
>
>
> Regards,
> Michael Bochkaryov
>