Скормить NetFlow v9 в InfluxDB

если ты не встретил в гугле готового решения, значит его нет

собери свой велосипед, flowd+go-скрипт+garfana

Мало ли, вдруг кто-то занимался подобной задачей (я знаю, здесь много заслуженных троллейбусостроителей) и готов поделиться своими скриптами.

Но вообще —

flowd

— как минимум за это спасибо.

Вот, что с ходу придумал:
Вариант 1:
sflowtool -> sflow2graphite -> influxdb-graphite-plugin -> influxdb -> grafana
Вариант 2:
logstash c logstash-codec-netflow -> elasticsearch -> grafana
Вариант 3:
logstash c logstash-codec-netflow -> -> influxdb-graphite-plugin(?) -> influxdb -> grafana (см. тут)
Вариант 4:
sflowtool -> your convertor or another convertor -> influxdb -> grafana

sflowtool

This tool receives sFlow data

Документация неверна?

C Readme

To forward Cisco NetFlow v5 records to UDP port 9991 on host collector.mysite.com, the options would be:

% ./sflowtool -p 6343 -c collector.mysite.com -d 9991

нет классическим велосепидистам не нужен influxdb, им нужно хранить сырой нетфлов для органов и агрегацию пихать в билинг

Насколько я понимаю, в этом режиме оно принимает sFlow, конвертирует и отправляет NetFlow v5. А мне нужно хотя бы наоборот.

Лучше nfsen на сколько я знаю еще ни чего не придумали. Но там RRDtool

ntopng 100% умеет NetFlow v9, дальше можно либо завернуть на elasticsearch, и на некотором этапе развития были скрипты для InfluxDB, которые наверняка все еще работают.

nfsen мне не подходит (по крайней мере без написания плагинов). В простейшем случае я бы хотел видеть на stacked-графике суммарный трафик по разным пользовательским машинам из своей сети. Их хоть и конечное количество, но адреса не фиксированные, поэтому я не могу захардкодить их фильтрами.

ntopng ничего не умеет, netflow умеет их проприетарная nprobe, не?

Свистни если найдешь что-то лучше

Да, но вариант все равно не плохой, был еще какой-то платный плагин к grafana, который умеет в том числе и netflow.

по разным пользовательским машинам из своей сети. Их хоть и конечное количество, но адреса не фиксированные, поэтому я не могу захардкодить их фильтрами.

Юзеров надо распихивать по индивидуальным VLAN, тогда проще

Ну кто будет заниматься этим в домашней сети? :) Так бы я смог и адреса статической арендой раздать.

У fluentd есть netflow плагин, кстати.
Т.е. fluent-plugin-netflow -> fluentd -> fluent-plugin-influxdb -> influxdb -> grafana

Посмотрю, спасибо.

Главное — не насобирать сейчас энтерпрайзного софта на половину рамы в сервере.

На https://linux.die.net/man/1/flow-tools смотрел?

Netflow v5 (микротик должен уметь его экспортировать) кстати довольно простой протокол, можно за день написать «парсер».

адреса не фиксированные

А как ты адреса связываешь с хостами? Берешь из DHCP?

На https://linux.die.net/man/1/flow-tools смотрел?

Не смотрел. Посмотрю. С его помощью можно обрабатывать записи своим скриптом в потоковом режиме (без сбора в промежуточный файл)?

А как ты адреса связываешь с хостами? Берешь из DHCP?

Да, я хочу брать их из DHCP (если точнее, обратными запросами ко встроенному в микротик DNS-кэшу, в который вносятся искусственные записи согласно выданным адресам). По этой причине мне как раз нужно уметь пропускать все flow-ы через кастомный скрипт-фильтр в реальном времени перед отправкой в InfluxDB. Но flowd, nfdump так не умеют, а fluentd, кажется, только на рубях.

С его помощью можно обрабатывать записи своим скриптом в потоковом режиме

Да, там в мане есть примеры

       Listen on port 9800 on any local interface from any IP address, display the received flows with flow-print.

       flow-receive 0/0/9800 | flow-print

пропускать все flow-ы через кастомный скрипт-фильтр

Записей же может быть дофига? Если на каждую серию записей ходить к DNS-кешу микротика, ему плохо не станет? Придется делать какой-то локальный кеш. Хотя, надо пробовать, конечно, может все не так страшно

Да, там в мане есть примеры

Ага, хорошо. А с netflow v9 у него как? Или он не нужен?

Если на каждую серию записей ходить к DNS-кешу микротика, ему плохо не станет? Придется делать какой-то локальный кеш.

Да, у меня локально resolved работает.

А с netflow v9 у него как?

Не знаю, я им пользовался только с v5. Даже «пользовался» громко сказано, скорее тестировал некоторые штуки.

Для твоих целей v5 должно хватить. Недавно, кстати, был тред с проблемой на микротике и netflow v9:

mikrotik + nfdump = где локальный трафик?

Недавно, кстати, был тред с проблемой на микротике и netflow v9

Ага, спасибо, учту.

flow-print

flow-print у меня не заработал ­— просто ничего не выводит.

flow-print у меня не заработал ­— просто ничего не выводит

Может буферизирует? У него вроде есть ключ -l Unbuffer output, но я щас попробовал, выглядит так как будто он его игнорирует. То есть да, сначала ничего не печатает, потом вываливает стену текста.

Ну, если уж совсем все будет плохо, всегда можно навелосипедить парсер этого netflow. v5, повторюсь, очень простой формат: http://www.cisco.com/c/en/us/td/docs/net_mgmt/netflow_collection_engine/3-6/u...

Да, пробовал этот ключ, тоже безрезультатно. Видимо, тогда я просто возьму nfcapd и заставлю его ротировать файлы каждую минуту.

если точнее, обратными запросами ко встроенному в микротик DNS-кэшу

и что, эти обратные запросы работают?

идея с netflow v9 была более реальной, там хоть по макам можно было бы посчитать

и что, эти обратные запросы работают?

Да, работают, я уже набросал прототип на шелле. Только для IP-адреса внешнего интерфейса микротика всё равно отдельный костыль нужен.

идея с netflow v9 была более реальной, там хоть по макам можно было бы посчитать

Не понял. При чём тут netflow v9 и маки?

при том, что в v9 могут быть маки, а также ipv6 адреса, а в v5 не может быть никак

А. Ну я вроде обошёлся.

So far, пока что наиболее реальной выглядит nfcapd + nfdump + скрипт на питоне + HTTP API графаны. А flowd какой-то странный — апстрим мёртвый, требует каких-то захардкоженных пользователей, API только для второго питона и т. п.

Я посмотрел на этот ужас с v9 и похакал v5 для ipv6 :)

В общем, fluentd так и не осилил. Взял nfcapd, заставил его генерировать выходные файлы каждую минуту и набросал за пару дней на питоне «транслятор»-обёртку вокруг nfdump. Заодно прикрутил туда какой-то препроцессинг (отресолвить адреса, обменять местами src и dst, чтобы в src всегда был локальный адрес). Вроде работает.