Re: [uanog] Q: Solution for logs indexing/analysis

6 Nov 2016


      Вот тут - https://habrahabr.ru/company/uteam/blog/278729/ - шо та про 
это рассказывают :)


On 7/1/16 7:42 AM, Michael Bochkaryov wrote:
...
2016-06-30 18:58 GMT-07:00 Mykola Ulianytskyi mailto:lystor@gmail.com>:
+1 к Filebeat + Logstash + ElasticSearch + Kibana + Curator
Кстати, а есть ли какие-то противопоказания для применения fluentd 
вместо Logstash?
Выглядит достаточно интересно, т.к. можно направить логи одновременно 
и в Elasticsearch, и в какой-нибудь архив (S3, etc).
Только брать последние стабильные версии - в них поприятнее с
    быстродействием, особенно в Logstash,
    а в Kibana фич побольше.
Кстати, а насколько имеет смысл запускать Elasticsearch поверх Hadoop?
Навскидку нагуглить кейсы, когда это обоснованно, я что-то не смог.
--
    With best regards,
    Mykola
2016-06-29 21:11 GMT+03:00 Michael Bochkaryov
    mailto:misha@rattler.kiev.ua>:
    > Hi All,
    >
    > А не в курсе ли кто, какие нынче существуют вменяемые решения
    для сбора и
    > анализа большого количества логов (а-ля Splunk)?
    >
    > Хотелки:
    > * импорт логов в разном формате (apache, json, tsv, etc)
    > * возможность делать поиск/агрегацию по этим самым логам
    > * масштабируемость (логов по несколько ГБ с сервера, серверов -
    1000+)
    > * возможность генерить алерты по агрегированным данным
    > * open source или вменяемая ценовая политика
    > * (желательно) выбор между деплойментом у себя или SaaS
    >
    > Сейчас смотрю в сторону ElasticSearch+Logstach+Kibana  плюс
    складирование
    > архивов в AWS S3. Но вдруг какие-то альтернативы имеются, о
    которых я не в
    > курсе ?
    >
    > Splunk не предлагать - хорош, но сильно уж дорого обходится.
    >
    >
    > Regards,
    > Michael Bochkaryov
    >
-- 
Volodymyr Litovka
   "Vision without Execution is Hallucination." -- Thomas Edison