Привіт,

нарешті дійшли руки, наконфігуряв filebeat. Дякую, пане, за докладну відповідь - це дуже допомогло.

Простий, як двері - прочитав документацію та налаштував за пару годин, робить все те, що мені треба. Перші декілька хвилин після старту/рестарту жере проц що не в себе, але потім сповзає повільно вниз та перестає помітно вантажити машинку. Про всяк випадок я йому погіршив nice - не знаю, чи воно допомагає, але точно не зашкодить ;-)

Ще раз дякую - поки що буду розгортати його, якщо щось вилізе - тоді буду дивитись в інші варіанти. Поки що все, як у тієї киці - https://www.youtube.com/shorts/am_FC-s3Y88

On 5/9/23 16:01, Mykola Ulianytskyi wrote:
Filebeat - це один бінарник на Go, який вміє збирати дані з

https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebeat-options.html
https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-modules-overview.html

процесити їх
https://www.elastic.co/guide/en/beats/filebeat/current/filtering-and-enhancing-data.html

а потім писати результат у файл в форматі JSON
https://www.elastic.co/guide/en/beats/filebeat/current/file-output.html

або відправляти в Elasticsearch / Logstash / Kafka / Redis
https://www.elastic.co/guide/en/beats/filebeat/current/configuring-output.html

--
Best regards,
Mykola


On Tue, May 9, 2023 at 11:56 AM Volodymyr Litovka <doka@funlab.cc> wrote:

Привіт,

це не тулза, це комбайн. В моєму поточному, лімітованому корпоративними, хай їм грець, правилами, таке не встановиш. Все, що я можу - це готувати дані для Ажура, тому що на Ажур розраховані всі інші системи аналізу, тощо. А вбудований в Ажур збирач логів, нуууу, таке....

On 08.05.2023 08:23, Mykola Ulianytskyi wrote:

On Mon, May 8, 2023 at 9:13 AM Volodymyr Litovka <doka@funlab.cc> wrote:

Привіт,

а порадьте тулзу, яка б могла

  • тейлити всі файли (включаючи нові, коли вони виникають)
  • в певному каталозі (включаючи нові, коли вони виникають)
  • по певній масці (напр. виключачи *gz),
  • підтримувати multiline records
    • наприклад один запис - все між timestamp'ами типу ^YYYY-MM-DD HH:MM:SS.ms
  • реагувати на певні патерни (exception, HTTP/1.1 5xx, тощо)
  • та зберігати records, що відповідають вказаному патерну, в окремий файл, з вказуванням - в якому саме файлі цей запис знайдено

Бо маю калєчний софт, проект вже закрито, гроші сплачено, а логи - це п-ць, дорога редакція.

Воно нібито й недовго написати таку тулзу, але мені йдеться, що до мене цей велосипед вже сконструювали.

Дякую.

-- 
Volodymyr Litovka
  "Vision without Execution is Hallucination." -- Thomas Edison
_______________________________________________
uanog mailing list
uanog@uanog.kiev.ua
https://mailman.uanog.kiev.ua/mailman/listinfo/uanog
-- 
Volodymyr Litovka
  "Vision without Execution is Hallucination." -- Thomas Edison
-- 
Volodymyr Litovka
  "Vision without Execution is Hallucination." -- Thomas Edison