LINUX.ORG.RU
ФорумAdmin

netflow коллектор+анализатор?

 


0

2

Доброго времени суток.
Имеется межсетевой экран Altell NEO (кастомизированный linux vyatta). Примерная схема на картинке https://ibb.co/ksyywQ. Т.е. имеется белый маршрутизируемый пул, арендованный у оператора связи, мне необходимо копить статистику по сессиям к машинам, которые используют эти белые адреса (на схеме они отсутствуют, но подразумевается что они смотрят в L2 устройство). У Altell NEO есть функция учета трафика (я включил flow-accounting для eth0), но без таймштампов и записей очень много. Выдается примерно в таком виде:

admin@NEO1UI:~$ show flow-accounting interface eth0
running
flow-accounting for [eth0]
Src Addr        Dst Addr        Sport Dport Proto    Packets      Bytes   Flows
178.187.127.241 80.89.163.242  55777 55777   udp       3285    3121978       1
82.200.16.98    80.89.163.248  55777 55777   udp       2592    2562538       1
.....................
Например вот статистика при прохождении 35 мб:
Total entries: 1,980
Total flows  : 2,071
Total pkts   : 118,796
Total bytes  : 35,909,806
Кстати, не понятно почему записей меньше чем потоков.

Как бы там ни было, очевидно что без анализатор мне не обойтись. Я почитал о netflow и архитектура мне примерно понятна, но пока слабо представляю откуда подступиться. На Altell NEO можно указать адрес и порт коллектора, интервал выборки, время жизни сессий для различного трафика и т.д. Теперь мне нужно выбрать какое-то ПО и развернуть коллектор и анализатор.
Собственно, вопросы:
1. Правильно ли я понял принцип.
2. Порекомендуйте пожалуйста опенсорс коллектор и анализатор не сложные в настройке. Я так понял, ntopng довольно распространенный, но не уверен включает ли он в себя функцию коллектора.



P.S. на Altell в качестве сенсора работает uacctd, но куда сливаются записи, которые можно посмотреть командой show flow-accounting interface eth0, так и не нашел. В uacctd.conf это не указано, пытался куски записей грепать рекурсивно по содержимому файлов - безрезультатно.

nfdump. Есть веб-интерфейс к нему - nfsen.

AS ★★★★★ ()

Я так понял, ntopng довольно распространенный, но не уверен включает ли он в себя функцию коллектора.

Только за деньги в виде отдельной программы (nProbe).

Порекомендуйте пожалуйста опенсорс коллектор и анализатор не сложные в настройке.

Коллектор — nfcapd (nfdump), а внятного софта для обработки и визуализации, кажется, и нет. Я вот совсем недавно тоже этим занимался и в итоге написал руками на питоне свой собственный анализатор :) Там nfcapd + nfdump + обработка + выгрузка в influxdb + визуализация grafana.

Если нужно, могу опубликовать. Но у меня частный случай, нужно смотреть тупо общее количество трафика «кто сколько и когда скачал», а если вставлять в инфлюкс по записи на каждую пару src/dest — то он очень быстро охренеет.

intelfx ★★★★★ ()
Последнее исправление: intelfx (всего исправлений: 5)

Три группы софта:

  • flow-tools[-ng] — коллектор и консольные утилитки для колупания сохранённых файлов
  • nfdump — то же самое что и выше + nfsen — вебморда, позволяющая рулить коллекторами, смотреть графики и делать отчёты
  • SiLK — то же самое, что и первый пункт, но с функциями IDS. Позволяет засечь, например, сканирование портов.

Первые два точно работают, проверял. Третью не смотрел.

anonymous ()

Анализатор - дело небесплатное, опенсорсных я не видел. Обычно берут flow-tools в качестве коллектора, данные с него пихают в БД, а с нее уже рисуют анализ, благо что сейчас js-приблуд для этого предостаточно, и за вечер или пару мелких купюр на fl можно оформить себе приятный анализатор.

araks ★★ ()
Ответ на: комментарий от araks

Доброго времени суток.
Спасибо всем за ответы. Попробовал nfdump - очень удобно (хотя еще не со всеми фильтрами разобрался, но весьма информативно). Уже даже не уверен, нужно ли мне веб лицо, может если коллегам понадобится - прикручу. Ман отличный, прям для людей.
Осталась пара вопросов:
1. Попробовал nfexpire интерактивно (nfexpire -e /var/cache/nfdump/altell -t 12H), но он почему-то очистил не самые старые файлы о_О. У меня такая структура:

root@debian7:~/nfsen-1.3.6p1# tree /var/cache/nfdump/altell/
/var/cache/nfdump/altell/
├── 2017
│   └── 04
│       └── 18
│           ├── nfcapd.201704180410
...............................
│           └── nfcapd.201704181525
├── nfcapd.201704172100
........................
├── nfcapd.201704172215
└── nfcapd.current

3 directories, 153 files
То, что лежит в каталоге /var/cache/nfdump/altell - это файлы, оставшиеся после первого запуска nfcapd без опции -S, они самые старые. При этом в каталоге /var/cache/nfdump/altell/2017/04/ был еще каталог 17/ (это создано вторым запуском nfcapd уже с опцией -S), и вот этот каталог был удален, хотя в нем файлы новее чем в /var/cache/nfdump/altell. Получается nfexpire ориентируется на то, что файлы созданы именно текущим процессом nfcapd, а не какими-то предыдущими? Если так, то nfcapd с -e так же себя ведет?
2. Не увидел с какой версией netflow работает nfcapd? Знаю что поддерживает v5, v7 и v9, но вот с какой он запущен. Или он может принимать сообщения netflow независимо от версии, главное чтобы это было 5, 7 или 9? На моем сенсоре в качестве версии коллектора указана 5.
3. Как лучше запускать nfcapd? У меня debian7.11, полагаю в rc.local поместить это адекватный вариант?

Спасибо.

nokogerra ()
Ответ на: комментарий от nokogerra

Касательно вопроса 2: не обратил внимания на такие строки в мане:

Netflow version v5, v7 and v9 are transparently supported.
..................
The format of the data files is netflow version independant.
Похоже какую бы версию коллектора я не указал на сенсоре (5, 7 или 9), nfcapd нормально съест все, что придет.

nokogerra ()
5 июля 2017 г.
Ответ на: комментарий от nokogerra

Я правильно понимаю что nfdump помогает увидеть кто загружает канал в реальном времени? Тоже купили altell, думаю как отлавливать пользователей кто загружает канал. Попробовал PRTG, слал туда netflow. Загрузку канала SNMP показывает 100%, netflow кажет что активность 0.1Мбит. Но активность показывается, хоть и с задержкой. Еще по Altell, eth1 это интернет, eth2 пользователи. Я правильно понимаю что конфигурировать надо именно на eth2? set system flow-accounting interface eth2

dorohovrs ()
Ответ на: комментарий от dorohovrs

Не видел уведомлений о посте.

Я правильно понимаю что nfdump помогает увидеть кто загружает канал в реальном времени?


Да нет, просто данные о трафике (инфо поля), и, собственно, все.

Тоже купили altell


Касательно покупки алтеля - это зря, у них саппорт мертвый, контора разогнала весь состав.
У алтеля странно сделано, при настройке типа «system flow-accounting interface eth2» получите данные только входящего трафика в eth2, т.е. ответы вы не увидите. Если хотите весь, тогда нужно такую же настройку для eth1 сделать.

nokogerra ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.