Я б ще порадив подивитись в бік FluentBit (якщо без збочень в вимогах) або Fluentd. https://fluentbit.io/ https://www.fluentd.org/ On Sun, May 7, 2023 at 11:24 PM Mykola Ulianytskyi wrote:

Привіт

https://www.elastic.co/beats/filebeat https://www.elastic.co/logstash/

-- Best regards, Mykola

On Mon, May 8, 2023 at 9:13 AM Volodymyr Litovka wrote:

...

Привіт,

а порадьте тулзу, яка б могла

- тейлити всі файли (включаючи нові, коли вони виникають) - в певному каталозі (включаючи нові, коли вони виникають) - по певній масці (напр. виключачи *gz), - підтримувати multiline records - наприклад один запис - все між timestamp'ами типу ^YYYY-MM-DD HH:MM:SS.ms - реагувати на певні патерни (exception, HTTP/1.1 5xx, тощо) - та зберігати records, що відповідають вказаному патерну, в окремий файл, з вказуванням - в якому саме файлі цей запис знайдено

Бо маю калєчний софт, проект вже закрито, гроші сплачено, а логи - це п-ць, дорога редакція.

Воно нібито й недовго написати таку тулзу, але мені йдеться, що до мене цей велосипед вже сконструювали.

Дякую.

-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

Привіт, це не тулза, це комбайн. В моєму поточному, лімітованому корпоративними, хай їм грець, правилами, таке не встановиш. Все, що я можу - це готувати дані для Ажура, тому що на Ажур розраховані всі інші системи аналізу, тощо. А вбудований в Ажур збирач логів, нуууу, таке.... On 08.05.2023 08:23, Mykola Ulianytskyi wrote:

Привіт

https://www.elastic.co/beats/filebeat https://www.elastic.co/logstash/

-- Best regards, Mykola

On Mon, May 8, 2023 at 9:13 AM Volodymyr Litovka wrote:

Привіт,

а порадьте тулзу, яка б могла

* тейлити всі файли (включаючи нові, коли вони виникають) * в певному каталозі (включаючи нові, коли вони виникають) * по певній масці (напр. виключачи *gz), * підтримувати multiline records o наприклад один запис - все між timestamp'ами типу ^YYYY-MM-DD HH:MM:SS.ms * реагувати на певні патерни (exception, HTTP/1.1 5xx, тощо) * та зберігати records, що відповідають вказаному патерну, в окремий файл, з вказуванням - в якому саме файлі цей запис знайдено

Бо маю калєчний софт, проект вже закрито, гроші сплачено, а логи - це п-ць, дорога редакція.

Воно нібито й недовго написати таку тулзу, але мені йдеться, що до мене цей велосипед вже сконструювали.

Дякую.

-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

On 09.05.2023 16:01, Mykola Ulianytskyi wrote:

Filebeat - це один бінарник на Go, який вміє збирати дані з

а потім писати результат у файл в форматі JSON https://www.elastic.co/guide/en/beats/filebeat/current/file-output.html

А, оце прикольно, я не пропустив цю можливість в загальному опису. Натомість бачив, що elastic/kibana must be. Дякую ще раз. -- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

Привіт, нарешті дійшли руки, наконфігуряв filebeat. Дякую, пане, за докладну відповідь - це дуже допомогло. Простий, як двері - прочитав документацію та налаштував за пару годин, робить все те, що мені треба. Перші декілька хвилин після старту/рестарту жере проц що не в себе, але потім сповзає повільно вниз та перестає помітно вантажити машинку. Про всяк випадок я йому погіршив nice - не знаю, чи воно допомагає, але точно не зашкодить ;-) Ще раз дякую - поки що буду розгортати його, якщо щось вилізе - тоді буду дивитись в інші варіанти. Поки що все, як у тієї киці - https://www.youtube.com/shorts/am_FC-s3Y88 On 5/9/23 16:01, Mykola Ulianytskyi wrote:

Filebeat - це один бінарник на Go, який вміє збирати дані з

https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebea... https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-modules-over...

процесити їх https://www.elastic.co/guide/en/beats/filebeat/current/filtering-and-enhanci...

а потім писати результат у файл в форматі JSON https://www.elastic.co/guide/en/beats/filebeat/current/file-output.html

або відправляти в Elasticsearch / Logstash / Kafka / Redis https://www.elastic.co/guide/en/beats/filebeat/current/configuring-output.ht...

-- Best regards, Mykola

On Tue, May 9, 2023 at 11:56 AM Volodymyr Litovka wrote:

Привіт,

це не тулза, це комбайн. В моєму поточному, лімітованому корпоративними, хай їм грець, правилами, таке не встановиш. Все, що я можу - це готувати дані для Ажура, тому що на Ажур розраховані всі інші системи аналізу, тощо. А вбудований в Ажур збирач логів, нуууу, таке....

On 08.05.2023 08:23, Mykola Ulianytskyi wrote:

...

Привіт

https://www.elastic.co/beats/filebeat https://www.elastic.co/logstash/

-- Best regards, Mykola

On Mon, May 8, 2023 at 9:13 AM Volodymyr Litovka wrote:

Привіт,

а порадьте тулзу, яка б могла

* тейлити всі файли (включаючи нові, коли вони виникають) * в певному каталозі (включаючи нові, коли вони виникають) * по певній масці (напр. виключачи *gz), * підтримувати multiline records o наприклад один запис - все між timestamp'ами типу ^YYYY-MM-DD HH:MM:SS.ms * реагувати на певні патерни (exception, HTTP/1.1 5xx, тощо) * та зберігати records, що відповідають вказаному патерну, в окремий файл, з вказуванням - в якому саме файлі цей запис знайдено

Бо маю калєчний софт, проект вже закрито, гроші сплачено, а логи - це п-ць, дорога редакція.

Воно нібито й недовго написати таку тулзу, але мені йдеться, що до мене цей велосипед вже сконструювали.

Дякую.

-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

https://www.elastic.co/guide/en/beats/filebeat/current/processor-script.html -- Best regards, Mykola On Wed, Jul 19, 2023 at 5:37 PM Volodymyr Litovka wrote:

О, є питання - як поміняти формат @timestamp для output з RFC3339 (yyyy-mm-ddThh:mm:ssZ) на звичайний DateTime (yyyy-mm-dd hh:mm:ss)? Щось з документації це не очевидно й судячі по кількості питань - таки не очевидно :)

Дякую.

On 7/19/23 12:29, Volodymyr Litovka wrote:

Привіт,

нарешті дійшли руки, наконфігуряв filebeat. Дякую, пане, за докладну відповідь - це дуже допомогло.

Простий, як двері - прочитав документацію та налаштував за пару годин, робить все те, що мені треба. Перші декілька хвилин після старту/рестарту жере проц що не в себе, але потім сповзає повільно вниз та перестає помітно вантажити машинку. Про всяк випадок я йому погіршив nice - не знаю, чи воно допомагає, але точно не зашкодить ;-)

Ще раз дякую - поки що буду розгортати його, якщо щось вилізе - тоді буду дивитись в інші варіанти. Поки що все, як у тієї киці - https://www.youtube.com/shorts/am_FC-s3Y88

On 5/9/23 16:01, Mykola Ulianytskyi wrote:

Filebeat - це один бінарник на Go, який вміє збирати дані з

https://www.elastic.co/guide/en/beats/filebeat/current/configuration-filebea... https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-modules-over...

процесити їх https://www.elastic.co/guide/en/beats/filebeat/current/filtering-and-enhanci...

а потім писати результат у файл в форматі JSON https://www.elastic.co/guide/en/beats/filebeat/current/file-output.html

або відправляти в Elasticsearch / Logstash / Kafka / Redis https://www.elastic.co/guide/en/beats/filebeat/current/configuring-output.ht...

-- Best regards, Mykola

On Tue, May 9, 2023 at 11:56 AM Volodymyr Litovka wrote:

...

Привіт,

це не тулза, це комбайн. В моєму поточному, лімітованому корпоративними, хай їм грець, правилами, таке не встановиш. Все, що я можу - це готувати дані для Ажура, тому що на Ажур розраховані всі інші системи аналізу, тощо. А вбудований в Ажур збирач логів, нуууу, таке....

On 08.05.2023 08:23, Mykola Ulianytskyi wrote:

Привіт

https://www.elastic.co/beats/filebeat https://www.elastic.co/logstash/

-- Best regards, Mykola

On Mon, May 8, 2023 at 9:13 AM Volodymyr Litovka wrote:

...

Привіт,

а порадьте тулзу, яка б могла

тейлити всі файли (включаючи нові, коли вони виникають) в певному каталозі (включаючи нові, коли вони виникають) по певній масці (напр. виключачи *gz), підтримувати multiline records

наприклад один запис - все між timestamp'ами типу ^YYYY-MM-DD HH:MM:SS.ms

реагувати на певні патерни (exception, HTTP/1.1 5xx, тощо) та зберігати records, що відповідають вказаному патерну, в окремий файл, з вказуванням - в якому саме файлі цей запис знайдено

Бо маю калєчний софт, проект вже закрито, гроші сплачено, а логи - це п-ць, дорога редакція.

Воно нібито й недовго написати таку тулзу, але мені йдеться, що до мене цей велосипед вже сконструювали.

Дякую.

-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

_______________________________________________ uanog mailing list uanog@uanog.kiev.ua https://mailman.uanog.kiev.ua/mailman/listinfo/uanog

-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison

-- Volodymyr Litovka "Vision without Execution is Hallucination." -- Thomas Edison