Добрый день! Коллеги, поделитесь опытом: кто как решает задачу отрисовки графиков по данным NetFlow? Задача: принять NetFlow-поток, отобрать по определенным критериям нужные потоки, подсчитать количество байт и впихнуть в RRD-базу. В портах FreeBSD готового коллектора, который это умеет на лету, я так понял, нет. Поэтому сейчас нарисовал на коленях flow-capture с ключом -R, и свою парсилку. Парсилка - на Perl и использует p5-Cflow... и при формировании статистики нп для 20-30 IP-адресов отрабатывает порядка 1 минуты, что не очень радует... Посему есть мысли писать свой коллектор на C с возможностью складирования потока в raw-файл плюс агрегация с сохранением результатов в RRD. Вот и интересуюсь: стОит ли писать это, или существуют готовые C-based решения, работающие на Unix-платформе? Рассматриваются в т.ч. и коммерческие варианты. Спасибо! -- Kind Regards, Alexander Shikoff AMS1-UANIC =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Tue, Apr 17, 2007 at 01:17:16PM +0300, Alexander Shikoff wrote:
Парсилка - на Perl и использует p5-Cflow... и при формировании статистики нп для 20-30 IP-адресов отрабатывает порядка 1 минуты, что не очень радует...
Посему есть мысли писать свой коллектор на C с возможностью складирования потока в raw-файл плюс агрегация с сохранением результатов в RRD.
Вот и интересуюсь: стОит ли писать это, или существуют готовые C-based решения, работающие на Unix-платформе? Рассматриваются в т.ч. и коммерческие варианты.
Чем поможет переписывание парсера на C, если RRDs.pm - это XS-враппер к RRDs.so? JIMHO тут стОит подойти к вопросу с точки зрения "а как это можно реализовать по-другому"? - e.g. перлом создать XML и всосать его через rrdrestore или еще как-нибудь... -- VP992-RIPE | The girl opened her mouth, I opened my veins, | The girl opened her heart, I opened a door to another world... | (c) Tiamat '92, Clouds, "Undressed". =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Tue, Apr 17, 2007 at 01:46:11PM +0300, Vladimir A. Podgorny wrote:
On Tue, Apr 17, 2007 at 01:17:16PM +0300, Alexander Shikoff wrote:
Парсилка - на Perl и использует p5-Cflow... и при формировании статистики нп для 20-30 IP-адресов отрабатывает порядка 1 минуты, что не очень радует...
Посему есть мысли писать свой коллектор на C с возможностью складирования потока в raw-файл плюс агрегация с сохранением результатов в RRD.
Вот и интересуюсь: стОит ли писать это, или существуют готовые C-based решения, работающие на Unix-платформе? Рассматриваются в т.ч. и коммерческие варианты.
Чем поможет переписывание парсера на C, если RRDs.pm - это XS-враппер к RRDs.so? JIMHO тут стОит подойти к вопросу с точки зрения "а как это можно реализовать по-другому"? - e.g. перлом создать XML и всосать его через rrdrestore или еще как-нибудь...
Речь идет не о переписывании парсера, а о написании полноценного коллектора, способного агрегировать данные и обновлять RRD-базы. С парсером можно обойтись и без XML... -- Kind Regards, Alexander Shikoff AMS1-UANIC =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Tue, Apr 17, 2007 at 01:51:23PM +0300, Alexander Shikoff wrote:
On Tue, Apr 17, 2007 at 01:46:11PM +0300, Vladimir A. Podgorny wrote:
On Tue, Apr 17, 2007 at 01:17:16PM +0300, Alexander Shikoff wrote:
Парсилка - на Perl и использует p5-Cflow... и при формировании статистики нп для 20-30 IP-адресов отрабатывает порядка 1 минуты, что не очень радует...
Посему есть мысли писать свой коллектор на C с возможностью складирования потока в raw-файл плюс агрегация с сохранением результатов в RRD.
Вот и интересуюсь: стОит ли писать это, или существуют готовые C-based решения, работающие на Unix-платформе? Рассматриваются в т.ч. и коммерческие варианты.
Чем поможет переписывание парсера на C, если RRDs.pm - это XS-враппер к RRDs.so? JIMHO тут стОит подойти к вопросу с точки зрения "а как это можно реализовать по-другому"? - e.g. перлом создать XML и всосать его через rrdrestore или еще как-нибудь...
Речь идет не о переписывании парсера, а о написании полноценного коллектора, способного агрегировать данные и обновлять RRD-базы. С парсером можно обойтись и без XML...
Вдогонку: http://www.paessler.com/prtg имеет встроенный коллектор и умеет то, что нужно... Но он под Windows :( -- Kind Regards, Alexander Shikoff AMS1-UANIC =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
17.04.07, Alexander Shikoff
On Tue, Apr 17, 2007 at 01:51:23PM +0300, Alexander Shikoff wrote:
On Tue, Apr 17, 2007 at 01:46:11PM +0300, Vladimir A. Podgorny wrote:
On Tue, Apr 17, 2007 at 01:17:16PM +0300, Alexander Shikoff wrote:
Парсилка - на Perl и использует p5-Cflow... и при формировании статистики нп для 20-30 IP-адресов отрабатывает порядка 1 минуты, что не очень радует...
Посему есть мысли писать свой коллектор на C с возможностью складирования потока в raw-файл плюс агрегация с сохранением результатов в RRD.
Вот и интересуюсь: стОит ли писать это, или существуют готовые C-based решения, работающие на Unix-платформе? Рассматриваются в т.ч. и коммерческие варианты.
Чем поможет переписывание парсера на C, если RRDs.pm - это XS-враппер к RRDs.so? JIMHO тут стОит подойти к вопросу с точки зрения "а как это можно реализовать по-другому"? - e.g. перлом создать XML и всосать его через rrdrestore или еще как-нибудь...
Речь идет не о переписывании парсера, а о написании полноценного коллектора, способного агрегировать данные и обновлять RRD-базы. С парсером можно обойтись и без XML...
Вдогонку: http://www.paessler.com/prtg имеет встроенный коллектор и умеет то, что нужно... Но он под Windows :(
FlowScan смотрел? http://net.doit.wisc.edu/~plonka/FlowScan/ -- Andrew Degtiariov DA-RIPE =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Tue, Apr 17, 2007 at 02:23:32PM +0300, Andrew Degtiariov wrote:
Вдогонку: http://www.paessler.com/prtg имеет встроенный коллектор и умеет то, что нужно... Но он под Windows :(
FlowScan смотрел? http://net.doit.wisc.edu/~plonka/FlowScan/
Да. Спасибо всем. Оптимизация с использованием перлового Net::Patricia дает приемелемый результат. Так что C пока что откладывается. :) -- Kind Regards, Alexander Shikoff AMS1-UANIC =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
http://www.xcp.kiev.ua/flow.pl
дальше думаю придумаете что с этим делать :)
On Tue, 17 Apr 2007 13:17:16 +0300, Alexander Shikoff
Добрый день!
Коллеги, поделитесь опытом: кто как решает задачу отрисовки графиков по данным NetFlow?
Задача: принять NetFlow-поток, отобрать по определенным критериям нужные потоки, подсчитать количество байт и впихнуть в RRD-базу.
В портах FreeBSD готового коллектора, который это умеет на лету, я так понял, нет. Поэтому сейчас нарисовал на коленях flow-capture с ключом -R, и свою парсилку. Парсилка - на Perl и использует p5-Cflow... и при формировании статистики нп для 20-30 IP-адресов отрабатывает порядка 1 минуты, что не очень радует...
Посему есть мысли писать свой коллектор на C с возможностью складирования потока в raw-файл плюс агрегация с сохранением результатов в RRD.
Вот и интересуюсь: стОит ли писать это, или существуют готовые C-based решения, работающие на Unix-платформе? Рассматриваются в т.ч. и коммерческие варианты.
Спасибо!
-- Kind Regards, Alexander Shikoff AMS1-UANIC =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
-- Linux is a system with a CLUE: Command Line User Environment =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
On Tue, Apr 17, 2007 at 01:51:23PM +0300, Alexander Shikoff writes: AS> On Tue, Apr 17, 2007 at 01:46:11PM +0300, Vladimir A. Podgorny wrote:
On Tue, Apr 17, 2007 at 01:17:16PM +0300, Alexander Shikoff wrote:
Парсилка - на Perl и использует p5-Cflow... и при формировании статистики нп для 20-30 IP-адресов отрабатывает порядка 1 минуты, что не очень радует...
Посему есть мысли писать свой коллектор на C с возможностью складирования потока в raw-файл плюс агрегация с сохранением результатов в RRD.
Вот и интересуюсь: стОит ли писать это, или существуют готовые C-based решения, работающие на Unix-платформе? Рассматриваются в т.ч. и коммерческие варианты.
Чем поможет переписывание парсера на C, если RRDs.pm - это XS-враппер к RRDs.so? JIMHO тут стОит подойти к вопросу с точки зрения "а как это можно реализовать по-другому"? - e.g. перлом создать XML и всосать его через rrdrestore или еще как-нибудь...
AS> Речь идет не о переписывании парсера, а о написании полноценного коллектора, AS> способного агрегировать данные и обновлять RRD-базы. AS> С парсером можно обойтись и без XML... Можете попробовать вот это: cvs -d :pserver:cvs@happy.kiev.ua:/cvs co flowd Коллектор, агрегирует, сохранять результаты можно через perl hooks (а там уж к чему душа лежит - sql, rrd, ...). Btw, чтобы графики смотрелись красиво, нужно aging timeout в netflow делать меньше, чем шаг по оси времени на графиках. -- Lucky carrier, Паша. =================================================================== uanog mailing list. To Unsubscribe: send mail to majordomo@uanog.kiev.ua with "unsubscribe uanog" in the body of the message
participants (5)
-
Alexander Shikoff -
Alexey Kolyada -
Andrew Degtiariov -
Pavel Gulchouck -
Vladimir A. Podgorny