LINUX.ORG.RU

nfdump,nfsen неправильный учет трафика


1

2

Установил продукт nfdump (Version: 1.6.10p1) на платформу centos6.Также перловые скрипты для графиков nfsen но об этом сейчас речь не идет. Проблему заметил на nfcapd , если быть точнее при чтении файлов записи с помощью nfdump за пять минут вижу просто несусветные цифры в выводе например :

nfdump -r nfcapd.201310281535 -s record 'in if 73 '

total bytes: 555.7 T, total packets: 785.9 G, avg bps: 2.3 T,

Что естественно не вписывается в реалии при том что интерфейс у меня 40 гигабит максимум он при том что будет загружен на полный ход обработает 40 гигбит *300 сек = 1200 гигабит или 150 гигабайт Есть еще коллектор на flow-tools там показывает ближе на правду.

Со стороны сенсора стоит циско бордер 7606 (720sup ios 12.2(33)SRD4) Конфигурация cisco для отдачи netflow

ip flow-export destination x.x.x.x 9995 ip flow-export version 5 mls netflow usage notify 90 120 mls nde sender version 5 mls sampling time-based 4096 mls netflow usage notify 90 120

(интерфейсы не привожу) Так запущен в системе процесс /usr/local/bin/nfcapd -w -D -p 9995 -u netflow -g apache -B 2000000 -S 1 -P /usr/local/nfsen/var/run/p9995.pid -z -I cubik -l /usr/local/nfsen/profiles-data/live/ Пробовал выставлять -s (сэмпл рейт) вручную от 1 до 8192 но результатов ни каких так и выдает результат в районе 500 терабайт, пробовал аналогично другие интерфейсы там аналогично , бегает реально до гигабита а светит мне что там 70 террабит трафика и 700 гигабит в секунду. В общем если были у кого такие приколы поделитесь а то уже руки лезут начать копаться в сурс кодах

А если сами записи посмотреть ? Может, просто переполнение счётчика при общем выводе ? Грабля такая раньше попадалась. Сейчас - не знаю.

AS ★★★★★ ()
Ответ на: комментарий от AS

Если сам записи то там аналогично космос вот пример nfdump -r nfcapd.201310281535 -s record/bytes 'in if 73 ' Aggregated flows 3130189 Top 10 flows ordered by bytes:

Date first seen Duration Proto Src IP Addr:Port Dst IP Addr:Port Packets Bytes Flows 2013-10-28 15:35:02.380 295.447 GRE x.x.x.x -> x.x.x.x:0 3.7 G 5.0 T 38 2013-10-28 15:35:02.380 294.998 GRE x.x.x.x -> x.x.x.x:0 1.4 G 2.0 T 35 ...

Summary: total flows: 4721502, total bytes: 505.9 T, total packets: 735.2 G, avg bps: 2.1 T, avg pps: 373.1 M, avg bpp: 688 Time window: 2013-10-28 15:07:07 - 2013-10-28 15:39:57 Total flows processed: 5961631, Blocks skipped: 0, Bytes read: 357392736 Sys: 6.975s flows/second: 854599.1 Wall: 6.976s flows/second: 854509.0

star1609 ()

А почему именно nfdump? Почему не стандартные flow-tools? Нужны именно отчеты по адресам?

У меня на прошлой работе именно flow-tools и именно с ядра на 7606-суп720 ловил нетфлоу на двух коллекторах и всё отлично было, flow-print показывал правильные значения в октетах. Биллинг правда свой был, но в остальном всё ок.

blind_oracle ★★★★★ ()
Последнее исправление: blind_oracle (всего исправлений: 2)
Ответ на: комментарий от star1609

2013-10-28 15:35:02.380 295.447 GRE x.x.x.x -> x.x.x.x:0 3.7 G 5.0 T 38
2013-10-28 15:35:02.380 294.998 GRE x.x.x.x -> x.x.x.x:0 1.4 G 2.0 T 35 ...

А почему Flows больше 1 ? Агрегирование какое-то включено ? Может, тут тоже переполняется что-то ?

AS ★★★★★ ()
Ответ на: комментарий от blind_oracle

А почему именно nfdump ?

А почему нет ? Его вот в RIPE любят, например.

AS ★★★★★ ()
Ответ на: комментарий от AS

Ну, потому что коллектор из flow-tools это, на мой взгляд, стандарт. И потому, что с nfcapd у товарища не выходит, скорее всего конечно из-за настроек, но тем не менее.

blind_oracle ★★★★★ ()
Последнее исправление: blind_oracle (всего исправлений: 1)
Ответ на: комментарий от blind_oracle

И потому, что с nfcapd у товарища не выходит

У меня работает. Правда, поток поменьше у меня в разы.

AS ★★★★★ ()
Ответ на: комментарий от star1609

Time window: 2013-10-28 15:07:07 - 2013-10-28 15:39:57

Не похоже, чота, на 300 секунд.

hizel ★★★★★ ()
Ответ на: комментарий от blind_oracle

Да вот и хочется разобраться что в настройках не то, как видно сверху привел настройки киски и параметры с которым стартует процесс, вчера попробовал более раннюю версию 1.6.8 и тут аналогичная ситуация. Что касается вопроса почему nfdump ? Потому что к нему прилагается nfsen который из коробки без перепилов очень красиво рисует графики и удобен в пользовании. В общем пробую увеличивать буфер вплоть до 300м результат такой же, то что есть в мане по nfdump особо не дает много возможностей тюнить...

star1609 ()
Ответ на: комментарий от hizel

да тайм виндоу весьма загадочен , как бы пишем каждые 5 минут но учитываем тайм окно за 15 минут, как я понял это означает что учитывается также те потоки которые были открыты ранее и в это время писались... но все же 550 террабайт даже за 15 минут ну очень уж много

star1609 ()
Ответ на: комментарий от AS

агрегирование включено на циске такого рода : ip flow-aggregation cache destination-prefix

star1609 ()
Ответ на: комментарий от star1609

агрегирование включено на циске

У меня ipt_netflow в качестве источника и JunOS... И без агрегирования.

AS ★★★★★ ()
Последнее исправление: AS (всего исправлений: 1)

Добрый день, такая же проблема , трафик vpn считает не правильно ((( за 5 мин 4Гб Date first seen Duration Proto IP Addr Flows(%) Packets(%) Bytes(%) pps bps bpp 2014-03-20 10:26:24.387 6582.489 any 217.*.*.* 2717( 6.0) 0( 0.0) 4.4 G(77.5) 0 5.3 M 0 2014-03-20 11:48:13.016 382.960 any 91.*.*.* 6( 0.0) 0( 0.0) 4.3 G(76.3) 0 89.7 M 0

malup ()
Ответ на: комментарий от malup

При этом поставил другой анализатор manageengine netflow analyzer и он показывает тоже самое , походу дело в настройка Cisco

malup ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.