LINUX.ORG.RU

Мониторинг Трафика

 ,


0

5

Добрый день. Есть пачка виртуалок которые потребляют достаточно много трафика ( пару терабайт за 2 месяца ).

задача: Нужно собрать статистику о трафике. Интересует:

  • Source IP
  • Destination IP
  • Source Port
  • Destination Port
  • bytes send/received
  • Traffic type

Из готовых решений мне известны только NetFlow решения. Но это не совсем то что мне нужно.

Кто то может подсказать готовое решение?

★★★★★

Из готовых решений мне известны только NetFlow решения. Но это не совсем то что мне нужно.

Поясните почему?

anc ★★★★★ ()
Ответ на: комментарий от anc

Поясните почему?

С радостью.

Некоторые виртуалки имеют диск на 8 гб, из которых свободно и то меньше. Там некуда сохранять NetFlow файл. Мне придётся добавить достаточно большой раздел для того чтобы хранить статистику по терабайтам данных.

Мне нужно нечто более лёгкое.

snaf ★★★★★ ()
Ответ на: комментарий от snaf

Мне придётся добавить достаточно большой раздел для того чтобы хранить статистику по терабайтам данных.

Тут должна быть шутка про провайдера и яровую

Информация о трафике ( а не сам трафик ) отправляется на сервер netflow. Много места не требуется

router ★★★★★ ()
Ответ на: комментарий от snaf

Агрегация нетфлоу (nfdump -B, например) с последующим сжатием (xz) очень сильно экономят место.
Либо можно экспортировать потоки в csv или txt, выпилить ненужные поля, пожать и хранить в таком виде.

Lavos ★★★★★ ()
Ответ на: комментарий от router

Тут должна быть шутка про провайдера и яровую

не знаю таких

Информация о трафике ( а не сам трафик ) отправляется на сервер netflow

памяти на серваках <8гб. Там нету подходящего сервера для NetFlow.

Много места не требуется

Мой собственный опыт подсказывает немного другую информацию.

snaf ★★★★★ ()
Ответ на: комментарий от snaf

Некоторые виртуалки имеют диск на 8 гб, из которых свободно и то меньше.

Если то где вы собираете это типа вэб сервера, где dst:port будут постоянно разные (короткие соединения в большом количестве), то все равно получиться не хилый обьем.
Но на месяц хватит. Сейчас посмотрел на одно место с трафикосчиталкой, пишу в муську, записано трафика на 1741Гб
SELECT (data_length + index_length)/1024/1024 from information_schema.TABLES
занимает 5238
Тут понятно что физически на диске будет больше, но и трафика больше 1Тб и пишу я данных больше чем вам нужно.
Далее пишем скрипт который например раз в сутки будет суммировать по интересующим вас полям и складывать в другую таблицу/бд, из исходной эти данные удаляем. При таком варианте имхо на пару месяцев вам места должно хватить. (У себя я так и поступаю, суммирую до почасовки, но правда и дописываю еще данных, так что к сожалению сказать насколько меньше обьем станет не могу)

anc ★★★★★ ()
Ответ на: комментарий от anc

PS Посмотрел по кол-ву записей в таблице, при почасовой агрегации получается минус 29%

anc ★★★★★ ()
Ответ на: комментарий от snaf

Мне нужно нечто более лёгкое.

Легче не будет, раз именно эта информация нужна. Разве что, как уже написали, агрегировать.

AS ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.