2016-06-29 11:31 GMT-07:00 Serge Negodyuck :

Hi All,

...

А не в курсе ли кто, какие нынче существуют вменяемые решения для сбора и анализа большого количества логов (а-ля Splunk)?

Хотелки: * импорт логов в разном формате (apache, json, tsv, etc) * возможность делать поиск/агрегацию по этим самым логам * масштабируемость (логов по несколько ГБ с сервера, серверов - 1000+) * возможность генерить алерты по агрегированным данным * open source или вменяемая ценовая политика * (желательно) выбор между деплойментом у себя или SaaS

Сейчас смотрю в сторону ElasticSearch+Logstach+Kibana плюс складирование архивов в AWS S3. Но вдруг какие-то альтернативы имеются, о которых я не в курсе ?

Хотел написать про ELK, но ты уже в курсе.

Эластик, кстати, почти штатно на s3 умеет себя экспортировать Вот, кстати, скриншот живого решения.Кушает всего по 1GB памяти на ноду, почти не есть CPU, и это "фоновый" сервис, ноды заняты другой основной работой.

Да, пока что ELK выглядит похоже на то, что требуется (потому туда и копаю в первую очередь). Кстати, как там с задержками при индексировании большого потока логов? А то у нас с тем же спланком возникали проблемы при пиковой нагрузке. Thanks! Misha

2016-06-29 12:07 GMT-07:00 Serge Negodyuck :

А не в курсе ли кто, какие нынче существуют вменяемые решения для сбора и

...

...

...

анализа большого количества логов (а-ля Splunk)?

Хотелки: * импорт логов в разном формате (apache, json, tsv, etc) * возможность делать поиск/агрегацию по этим самым логам * масштабируемость (логов по несколько ГБ с сервера, серверов - 1000+) * возможность генерить алерты по агрегированным данным * open source или вменяемая ценовая политика * (желательно) выбор между деплойментом у себя или SaaS

Сейчас смотрю в сторону ElasticSearch+Logstach+Kibana плюс складирование архивов в AWS S3. Но вдруг какие-то альтернативы имеются, о которых я не в курсе ?

Хотел написать про ELK, но ты уже в курсе. Эластик, кстати, почти штатно на s3 умеет себя экспортировать Вот, кстати, скриншот живого решения.Кушает всего по 1GB памяти на ноду, почти не есть CPU, и это "фоновый" сервис, ноды заняты другой основной работой.

Да, пока что ELK выглядит похоже на то, что требуется (потому туда и копаю в первую очередь). Кстати, как там с задержками при индексировании большого потока логов? А то у нас с тем же спланком возникали проблемы при пиковой нагрузке.

Ну как сказать, все же зависит от ресурсов, как всегда.

Потолок logstash где-то 200-2000Kb/sec на ядро, в зависимости от характера логов. И где-то столько же нужно эластику за ним.

Понял, спасибо! :)

2016-06-30 0:12 GMT-07:00 Taras Heychenko :

...

А не в курсе ли кто, какие нынче существуют вменяемые решения для сбора и анализа большого количества логов (а-ля Splunk)?

Не знаю, подойдет ли это тебе, но можешь глянуть в строну http://entrada.sidnlabs.nl/docs/introduction/overview/

Интересная штука, но явно заточена на обработку данных по сетевому трафику. У меня же - логи произвольных приложений в разных форматах и два типовых сценария: 1. строить всякую прикладную аналитику по данным из этих логов 2. навернутый grep по логам (например, по взрыву приложения найти session id и выяснить, что такого этот юзер вытворял и почему мы до такого докатились) Regards, Michael Bochkaryov

2016-06-30 18:58 GMT-07:00 Mykola Ulianytskyi :

+1 к Filebeat + Logstash + ElasticSearch + Kibana + Curator

Кстати, а есть ли какие-то противопоказания для применения fluentd вместо Logstash? Выглядит достаточно интересно, т.к. можно направить логи одновременно и в Elasticsearch, и в какой-нибудь архив (S3, etc).

Только брать последние стабильные версии - в них поприятнее с быстродействием, особенно в Logstash, а в Kibana фич побольше.

Кстати, а насколько имеет смысл запускать Elasticsearch поверх Hadoop? Навскидку нагуглить кейсы, когда это обоснованно, я что-то не смог.

-- With best regards, Mykola

2016-06-29 21:11 GMT+03:00 Michael Bochkaryov :

...

Hi All,

А не в курсе ли кто, какие нынче существуют вменяемые решения для сбора и анализа большого количества логов (а-ля Splunk)?

Хотелки: * импорт логов в разном формате (apache, json, tsv, etc) * возможность делать поиск/агрегацию по этим самым логам * масштабируемость (логов по несколько ГБ с сервера, серверов - 1000+) * возможность генерить алерты по агрегированным данным * open source или вменяемая ценовая политика * (желательно) выбор между деплойментом у себя или SaaS

Сейчас смотрю в сторону ElasticSearch+Logstach+Kibana плюс складирование архивов в AWS S3. Но вдруг какие-то альтернативы имеются, о которых я не в курсе ?

Splunk не предлагать - хорош, но сильно уж дорого обходится.

Regards, Michael Bochkaryov