LINUX.ORG.RU

Сообщения vmx1

 

Хранение netflow-данных

 ,

Привет, лор!

Хоть здесь и стало гораздо меньше людей, но вижу, еще остались дата сцайнтисты.

Так что думаю вопросы не останутся без ответа.

У меня есть пет-проект, опенсорсный netflow/IPFIX/sFlow-коллектор/анализатор https://github.com/vmxdev/xenoeye

Одна из его фич - мы не храним все фловы. Данные для отчетов фильтруются (это называется «объекты мониторинга») и агрегируются прямо внутри анализатора.

Это позволяет использовать небольшие и медленные диски и не сильно нагружает систему.

В самых первых версиях (которых нет на гитхабе) мы хранили все данные, но пользователи сразу же начали возмущаться.

У нас были довольно жаркие дискуссии с сетевыми инженерами из крупных телекомов, и они в итоге убедили - хранить все не нужно, агрегированных данных вполне достаточно. Так делают многие коммерческие вендоры и в основном всех устраивает.

Но время идет, хранилища становятся дешевле, и мы опять вернулись к тому что в некоторых случаях можно хранить и все фловы.

Это нужно немногим, в основном для postmortem аналитики, так что фича если и будет, то строго опциональной.

Современный тренд (см. gofolow/goflow2/akvorado) - хранить фловы в clickhouse. На небольшом или сильно семплированном трафике это работает норм, но если у вас много фловов, то приходится строить кластеры и в целом напрягаться.

Если кому-то интересно, как эту задачу решают наши (и не только) техногиганты - почитайте https://habr.com/ru/companies/yandex/articles/1000520/

Что интересно, в итоге они все равно сдались и стали агрегировать

Когда мы начали строить отчёты, стало ясно, что выборки идут слишком долго, а иногда запросы просто падали. Поэтому мы использовали встроенные в ClickHouse механизмы агрегации и сделали таблицы с округлением времени до 5 минут.

В то же время, если взять калькулятор и посмотреть на скорость медленных шпиндельных дисков, то можно осторожно предположить, что получится лить как минимум ~1млн фловов в секунду на одном боксе, без кластеров и гемороя.

А если придумать какую-нибудь хорошую схему компрессии (двухэтапную? многоэтапную?), то наверное и больше.

Минусы того чтобы лить сырые данные без индексов просто в файловую систему очевидны - выборки будут не очень быстрые. Но в нашем случае это не очень и важно - postmortem нужен не так уж и часто, можно подождать, а агрегированное и так уже есть.

Я немного почитал про parquet, ORC и прочие изобретения Apache и пока не очень понимаю, поможет ли хранение в этих форматах.

Поколоночная компрессия для фловов очевидно работает гораздо лучше, чем если просто их жать линейно. Я сделал несколько тестов и оказалось, что компрессия не просто по колонкам IP-адресов, а по колонкам октетов (т.е. если брать не целые адреса A1.B1.C1.D1, A2.B2.C2.D2, … а колонки A1, A2…, B1, B2, …) работает еще лучше. Ну это было предсказуемо, энтропия нижних октетов адресов выше чем верхних.

А в документации к паркету (https://parquet.apache.org/docs/file-format/types/) пишут, что у них минимальная единица хранения INT32. Можно, наверное, каждый октет адреса хранить в INT32, но это выглядит как-то кхем.

И в целом, это же больше про кластерные форматы, а я хочу (пока) обойтись буквально одним боксом. 1mfps - более чем достаточно, не представляю чтобы у кого-то, по крайней мере из наших пользователей, было сильно больше.

Сейчас идея такая - для тех кто хочет хранить все фловы в clickhouse сделать хранение в нем, пусть себе хранят и пердолятся.

А для тех кому нужно лить быстро и без большого оверхеда - лить в файлы и сделать простенькую утилиту, которая будет эти файлы ворочать и конвертировать результат во что-то читаемое.

Но, возможно, я на неправильном пути.

Может быть есть какие-то другие, более солидные решения, специально для таких случаев.

Если есть такие решения, было бы отлично если бы у них была возможность сжимать старые данные с потерями. Свежие пусть будут точные, а старые - почему бы не потерять немного. То есть не просто удалять по TTL, а подержать некоторое время чуть огрубленные данные. А потом уже удалять.

Для семплированных фловов поля с таймстампами, например, можно смело огрублять. Я читал какой-то рисерч, там теряли точность еще и на количестве пакетов/байт в фловах. Тоже выглядит приемлемо. На остальном конечно непонятно как терять точность. Схлопывать адреса/порты в какие-то диапазоны? Но может быть это и не нужно, хотелка опциональная.

Мысли? Мнения?

vmx1
()

Пользуетесь ли вы sFlow для мониторинга? Если да, то как именно?

 , ,

Привет, ЛОР.

Появились вопросы по поводу sFlow, надеюсь здесь на них смогут ответить.

Преамбула:

Я участвую в разработке Netflow/IPFIX коллектора https://github.com/vmxdev/xenoeye

Недавно человек из интернета попросил нас добавить в коллектор поддержку sFlow. Мы этот sFlow не использовали, технология выглядит не очень интересно. Плюс его надо снимать с коммутаторов, люди которые занимаются непосредственно сетью говорят что им это геморойно.

Тем не менее, почитал документацию, добавил поддержку семплированых фловов (это когда sFlow-агент посылает коллектору куски некоторых пакетов, первые несколько десятков/сотен байт). Так как добавлялось это уже в готовый netflow-коллектор, сделали очень просто: из сырого пакета выбираются поля, которые могли бы быть в netflow (IP адреса, TCP/UDP порты, TCP флаги, тип ICMP и т.п.) и дальше обрабатывается как будто это флов из netflow со своей частотой семплирования.

Насколько я понимаю, *flow-коллекторы (по крайней мере известные) делают приблизительно так же, и не парсят остальной кусок пейлоада пакета.

Но, даже из небольшого кусочка теоретически можно получить какую-то дополнительную и полезную информацию:

  • Флаги из DNS (например, бит рекурсии). Можно увидеть криво настроенный DNS-сервер, который может участвовать в DDoS атаке с DNS-амплификацией
  • Такие же криво настроенные NTP-сервера
  • Если прилетает кусок пакета достаточного размера, можно брать из DNS и HTTPS SNI имена ресурсов и составлять «карту хостинга»: для IP-адресов будут известны дополнительно их имена. Это, возможно, не очень этично, но если вы хостер и видите что кто-то хостит у вас домен с именем «s6erbank.ru», это может вызвать некоторые вопросы
  • возможно, в куске пакета можно найти признаки каких-то еще атак на сервисы, например медленных DoS атак

Да, конечно, это все (и даже больше) можно получить со SPAN/зеркала трафика/оптического разветвителя, но предположим что это не всегда возможно.

Собственно вопросы к сетевым специалистам:

  • Пользуетесь ли вы sFlow? Это живая или умирающая технология?
  • Если пользуетесь, какую информацию вы из него берете? sFlow может экспортировать как кусочки пакетов, так и некоторые счетчики (in/out по портам, например). Вы пользуетесь этими счетчиками или вам проще снимать те же данные с помощью SNMP?
  • Может ли ваш sFlow-коллектор/анализатор обрабатывать дополнительные данные из sFlow? Если да, то какие именно? Можете дать ссылку на документацию или вообще на какие-то статьи где об этом можно почитать?
vmx1
()