LINUX.ORG.RU

Подскажите структуру базы на mysql для netflow


0

0

Делаю коллектор для netflow, который передаёт всё полученное на сервер (серверная часть, которая непосредственно и пишет в базу). Проблемма такая что если просто тупо писать в базу всё что приходит, то уже через секунду после запуска в базе набирается около 15 тыс. строк. И это только с одной циски. Плюс получается нехилый загруз сервера mysql (по локальному интерфейсу 150-160 метров в секунду) в результате чего он практически перестаёт нормально работать. Вот и встал вопрос, как сформировать базу что бы не плодилось такое количество записей. Может кто то уже делал подобное и может подсказать как лучше это реализовать.

Заранее спасибо!!!

★★★★★


INSERT INTO ... ON DUPLICATE KEY UPDATE ... не? поток данных, конечно, не уменьшит, зато кол-во записей - запросто.

// wbr

klalafuda ★☆☆
()
Ответ на: комментарий от klalafuda

Понимаю что просто снифить не вариант, думаю может это както перебирать на коллекторе и сбрасывать данные на сервер каждые..5 или 10 минут...Просто видел неплохой сборщик по netflow использующий mysql, вот только добраться до сервака не могу, видно только морду.

cyclon ★★★★★
() автор топика
Ответ на: комментарий от cyclon

> Понимаю что просто снифить не вариант, думаю может это както перебирать на коллекторе и сбрасывать данные на сервер каждые..5 или 10 минут...Просто видел неплохой сборщик по netflow использующий mysql, вот только добраться до сервака не могу, видно только морду.

а что собственно хочется получить в конечном итоге?

// wbr

klalafuda ★☆☆
()
Ответ на: комментарий от klalafuda

Ну хотелось более менее детализированную статистику, но это впринципе эквивалентно полной записи, хотя может я ошибаюсь. Можно и просто траффик по srs/dst адресам, всем цискам и всем интерфейсам.

cyclon ★★★★★
() автор топика
Ответ на: комментарий от cyclon

> Ну хотелось более менее детализированную статистику, но это впринципе эквивалентно полной записи, хотя может я ошибаюсь. Можно и просто траффик по srs/dst адресам, всем цискам и всем интерфейсам.

ну если хочется именно статистику, то вместо того, чтобы снифить голый трафик и выдирать из него 1% полезной информации лучше научить железку собирать статистику и как то её оттуда периодически выуживать.

// wbr

klalafuda ★☆☆
()
Ответ на: комментарий от cyclon

смысла кидать сырые данные в mysql нет
оно неплохо и в бинарном виде распарсивается
а потом уже данные для которых нужен быстрый доступ
кидать в mysql
бэкапить опять же проще

hizel ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.