LINUX.ORG.RU
ФорумAdmin

Как настроить сборку загрузки траффика с mikrotik?

 , , , ,


1

1

Вся сеть в основном Windows. Есть Mikrotik. Есть Ubuntu 14.04 + установленный ntop на нем. Есть купленный гарантированный канал от провайдера размеров 7Mbit\sec. 60 человек в организации. Нет настроенного proxy пока что, мучать squid буду позже. Я хочу на первом этапе собрать информацию о загрузке канала, чтобы директор дал добро на увеличение ширины канала у провайдера. Для анализа использовал torch в interface mikrotik'a. Использовал graphing, который собственно и показал длительные пики загрузки на WAN. Начальство не хочет всё равно увеличивать пропускную способность канала до тех пор пока не будет информации о том что это за трафик, рабочий или сотрудники лезут на не рабочие ресурсы. Далее соответственно я поставил ntop на ubuntu 14.04 и начал собирать данные с mikrotik через traffic flow. Утилита ntop дает не полную информацию, которая мне нужна, местами программа работает не корректно. Например, в ntop summary-> traffic ранее у меня были графики в разрезе типа трафика(http,mail,ssl,dhcp,dns..etc) сейчас почему то пропали приходится довольствоваться только summary->network load. Второй косяк из ntop: all protocols->traffic отображает по колонке data общий трафик собранный с периода запуска ntop до текущего момента насколько я понял. Мне же нужна информация первично определить что есть пик нагрузки и я его увижу на графиках summary->traffic и summary->network load. Далее логично что нужно определить кто создавал в это время наибольшее количество трафика. А all protocols->traffic этого не отображает. Можно конечно отсортировать по data исходя из этого предположить что если данный хост в data сгенерировал наибольшее количество трафика с момента запуска ntop, то можно внутри более детально посмотреть, но это лишь предположение по data и не факт что именно этот хост в пиковой точке создавал нагрузку. Третий косяк ntop: Когда в all protocols-> traffic выбрать конкретный хост, то внутри страница постоянно «грузится» и не возможно перейти внутри данного хоста по функционалу внутри. Пробовал на время deactivate сам ntop в веб-интерфейсе и остановить traffic flow в mikrotik.

То есть суммарно если говорить, то информация о загрузке вроде как есть, но нет детализации, чтобы в пике посмотреть кто создал нагрузку в какой момент времени и чем он создал эту нагрузку. Proxy отдельная тема разговора, в моем случае уйдет большое количество времени на настройку squid при моих полупользовательских навыках linux, тем более что потом нужно будет чтобы пользователи не могли убрать proxy и всем его прописывать автоматом через AD + настраивать по идее нужно отказоустойчивый proxy. Соответственно выбран вариант просто пока проанализировать трафик и сделать вывод что да нам не хватает пропускной способности и нужно увеличивать пропускную способность у провайдера, либо настраивать squid и соответственно рубать всем не целевые ресурсы, которые не нужны для работы, либо оптимизировать и ставить приоритеты на нагрузку пользователям к конкретным ресурсам.

Кстати я пытался настроить также ntopng, но эта утилита не имеет средств связи с mikrotik в отличии от ntop.



Последнее исправление: squidw (всего исправлений: 2)

Можно заюзать лог сервер и грепать логи скриптом. В самом микротике статистики по dns+src-ip вроде нет, а другим способом любителей vk отловить сложно

Ну либо ручками мониторить кто жрет и vnc на машину, но это только в случае плановых рейдов на коллег

upcFrost ★★★★★
()
Последнее исправление: upcFrost (всего исправлений: 1)

Кстати я пытался настроить также ntopng, но эта утилита не имеет средств связи с mikrotik в отличии от ntop.

ntopng умеет же netflow ? Но почему ntop-то, а не nfsen ?

AS ★★★★★
()
Ответ на: комментарий от upcFrost

В самом микротике статистики по dns+src-ip вроде нет

Там есть netflow. При наличии сервера с flow-коллектором этого достаточно.

AS ★★★★★
()
Ответ на: комментарий от squidw

ну и собрал я через traffic flow с mikrotik на ntop
и увидел те проблемы которые описал в начале темы.

Мне же нужна информация первично определить что есть пик нагрузки и я его увижу на графиках summary->traffic и summary->network load. Далее логично что нужно определить кто создавал в это время наибольшее количество трафика. А all protocols->traffic этого не отображает.

Повторяю: nfsen. Это штука, которая строит графики по тому, что собрал nfcupd, а собирается и пишется там всё. Соответственно, это всё и можно посмотреть постфактум с любыми вариантами агрегации, или без неё. В том числе, с помощью утилиты командной строки nfdump.

AS ★★★★★
()
Ответ на: комментарий от AS

Повторяю: nfsen. Это штука, которая строит графики по тому, что собрал nfcupd, а собирается и пишется там всё. Соответственно, это всё и можно посмотреть постфактум с любыми вариантами агрегации, или без неё. В том числе, с помощью утилиты командной строки nfdump.

Я так понимаю не nfcupd а nfcapd? Есть ли внятная соборная статья, как всё это до кучи собрать?

squidw
() автор топика
Ответ на: комментарий от squidw

Есть ли внятная соборная статья, как всё это до кучи собрать?

nfsen - веб-приложение. nfdump - самостоятельный пакет. nfcapd имеет набор параметров, который определяет структуру каталогов и наименование файлов. Честно говоря, я nfdump использую только (nfcapd - часть этого пакета). nfsen мне без надобности, я его только раз смотрел. Помнится, ему требуется запуск nfcapd с определённым набором параметров. Описание прямо на сайте проекта: http://nfsen.sourceforge.net/

AS ★★★★★
()
Ответ на: комментарий от AS

с помощью: nfcapd -E -p 9001 -l /tmp/nfcap-test пишу в файл данные

ls -l /tmp/nfcap-test/ вижу файл nfcapd.201709201222

nfdump -r /tmp/nfcap-test/nfcapd.201709201222 | less вывод данной команды: no matched flows

Насколько я понял nfcapd это сенсор, nfdump коллектор, nfsen это анализатор. Где и каким образом всё это прикрутить в mikrotik?

squidw
() автор топика
Ответ на: комментарий от squidw

Насколько я понял nfcapd это сенсор, nfdump коллектор, nfsen это анализатор.

Нет. Сенсор - это то, что в Микротике:

/ip traffic-flow target
add dst-address=10.1.1.1 port=9000 version=5
Либо, если в Linux, это ipt_netflow, ulog и т.п., и его надо настроить лить данные на коллектор nfcapd, указав правильные IP и порт. nfdump и nfsen - это средства визуализации, одно консольное, другое - графическое (через web).

AS ★★★★★
()
Последнее исправление: AS (всего исправлений: 3)

Если зеркалить трафик на машину с ntopng, то можно получать побольше интересной информации.

Deleted
()
Ответ на: комментарий от Deleted

Если зеркалить трафик

Микротик не умеет зеркалить просто так. Там что-то есть, что может понимать WireShark (но не tcpdump вроде как). Но отличие от Netflow будет только в чуть более реальном времени и в чуть меньшей агрегации. По факту редко когда нужен на столько детальный анализ, когда Netflow мало. Это только когда проблемы сетевые ловить и в сами пакеты смотреть надо.

AS ★★★★★
()
Ответ на: комментарий от AS

Можно зеркалить свичем. В ntopng есть dpi, который определяет всяческие стримы, торренты, p2p, тимвьюверы и проче, прочее, что через netflow довольно трудно определить, т.к. нет удобных инструментов и местами принципиальной возможности.

Deleted
()
Ответ на: комментарий от squidw

-p 9001

В примере конфига я порт не этот указал. :-) Ну и да, tcpdump должен показать летящий на заданный порт трафик с Микротика, а файл nfcapd.<bla-bla> должен расти.

AS ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.