LINUX.ORG.RU

Хранение netflow-данных

 ,


0

1

Привет, лор!

Хоть здесь и стало гораздо меньше людей, но вижу, еще остались дата сцайнтисты.

Так что думаю вопросы не останутся без ответа.

У меня есть пет-проект, опенсорсный netflow/IPFIX/sFlow-коллектор/анализатор https://github.com/vmxdev/xenoeye

Одна из его фич - мы не храним все фловы. Данные для отчетов фильтруются (это называется «объекты мониторинга») и агрегируются прямо внутри анализатора.

Это позволяет использовать небольшие и медленные диски и не сильно нагружает систему.

В самых первых версиях (которых нет на гитхабе) мы хранили все данные, но пользователи сразу же начали возмущаться.

У нас были довольно жаркие дискуссии с сетевыми инженерами из крупных телекомов, и они в итоге убедили - хранить все не нужно, агрегированных данных вполне достаточно. Так делают многие коммерческие вендоры и в основном всех устраивает.

Но время идет, хранилища становятся дешевле, и мы опять вернулись к тому что в некоторых случаях можно хранить и все фловы.

Это нужно немногим, в основном для postmortem аналитики, так что фича если и будет, то строго опциональной.

Современный тренд (см. gofolow/goflow2/akvorado) - хранить фловы в clickhouse. На небольшом или сильно семплированном трафике это работает норм, но если у вас много фловов, то приходится строить кластеры и в целом напрягаться.

Если кому-то интересно, как эту задачу решают наши (и не только) техногиганты - почитайте https://habr.com/ru/companies/yandex/articles/1000520/

Что интересно, в итоге они все равно сдались и стали агрегировать

Когда мы начали строить отчёты, стало ясно, что выборки идут слишком долго, а иногда запросы просто падали. Поэтому мы использовали встроенные в ClickHouse механизмы агрегации и сделали таблицы с округлением времени до 5 минут.

В то же время, если взять калькулятор и посмотреть на скорость медленных шпиндельных дисков, то можно осторожно предположить, что получится лить как минимум ~1млн фловов в секунду на одном боксе, без кластеров и гемороя.

А если придумать какую-нибудь хорошую схему компрессии (двухэтапную? многоэтапную?), то наверное и больше.

Минусы того чтобы лить сырые данные без индексов просто в файловую систему очевидны - выборки будут не очень быстрые. Но в нашем случае это не очень и важно - postmortem нужен не так уж и часто, можно подождать, а агрегированное и так уже есть.

Я немного почитал про parquet, ORC и прочие изобретения Apache и пока не очень понимаю, поможет ли хранение в этих форматах.

Поколоночная компрессия для фловов очевидно работает гораздо лучше, чем если просто их жать линейно. Я сделал несколько тестов и оказалось, что компрессия не просто по колонкам IP-адресов, а по колонкам октетов (т.е. если брать не целые адреса A1.B1.C1.D1, A2.B2.C2.D2, … а колонки A1, A2…, B1, B2, …) работает еще лучше. Ну это было предсказуемо, энтропия нижних октетов адресов выше чем верхних.

А в документации к паркету (https://parquet.apache.org/docs/file-format/types/) пишут, что у них минимальная единица хранения INT32. Можно, наверное, каждый октет адреса хранить в INT32, но это выглядит как-то кхем.

И в целом, это же больше про кластерные форматы, а я хочу (пока) обойтись буквально одним боксом. 1mfps - более чем достаточно, не представляю чтобы у кого-то, по крайней мере из наших пользователей, было сильно больше.

Сейчас идея такая - для тех кто хочет хранить все фловы в clickhouse сделать хранение в нем, пусть себе хранят и пердолятся.

А для тех кому нужно лить быстро и без большого оверхеда - лить в файлы и сделать простенькую утилиту, которая будет эти файлы ворочать и конвертировать результат во что-то читаемое.

Но, возможно, я на неправильном пути.

Может быть есть какие-то другие, более солидные решения, специально для таких случаев.

Если есть такие решения, было бы отлично если бы у них была возможность сжимать старые данные с потерями. Свежие пусть будут точные, а старые - почему бы не потерять немного. То есть не просто удалять по TTL, а подержать некоторое время чуть огрубленные данные. А потом уже удалять.

Для семплированных фловов поля с таймстампами, например, можно смело огрублять. Я читал какой-то рисерч, там теряли точность еще и на количестве пакетов/байт в фловах. Тоже выглядит приемлемо. На остальном конечно непонятно как терять точность. Схлопывать адреса/порты в какие-то диапазоны? Но может быть это и не нужно, хотелка опциональная.

Мысли? Мнения?


Что интересно, в итоге они все равно сдались и стали агрегировать

Так это для отчётов - проблема не в приёме сырых данных, а в их обработке. Встроенный в клик движок для агрегации «на лету» - это спасение. Т.е. проблема в

выборки будут не очень быстрые

- так что, либо на лету ты агрегируешь, либо какие-то индексы вешаешь - если хочешь на лету получать агрегаты.

Но вообще, IMHO, проще всего разделить: например, агрегирование инкрементом раз в 2 часа, а этот кусочек 0-2 часа дёргать с сырых данных и UNION с агрегатом. Или вообще убедить бизнес, что онлайн ловля мышей (агрегирование по сырым данным онлайн) ему нафиг не нужна, а на сырых оставить только какие-то антифрод анализаторы.

Если есть такие решения, было бы отлично если бы у них была возможность сжимать старые данные с потерями. Свежие пусть будут точные, а старые - почему бы не потерять немного. То есть не просто удалять по TTL, а подержать некоторое время чуть огрубленные данные. А потом уже удалять.

Я бы попробовал всё равно ВСЁ строить вокруг clickhouse, и для этой фичи использовать партиционирование файлами по неделям, например, и спокойно архивировать встроенными механизмами по TTL с выгрузкой в какой-нибудь свой архив или S3. Ну, теоретически, поднять машину со сжатым HDD raid, поднять на ней S3, и пускай клик туда суёт всё это. Доступ к данным делать только свежим через view, а старые пускай только сисадмин сможет просмотреть.

Реально, Clickhouse это просто спасение для подобных случаев. Это просто чудо, что он OpenSource и бесплатен.

Т.е. в итоге у тебя:

* таблица click принимающая flow с mergetree партицированная по неделям, с выпиныванием старых данных на медленное хранилище
* таблицы click с агрегатами на агрегирующем движке, берущие те же данные
* данные с медленного хранилища, чтобы никто не мог поставить систему раком, доступны только тебе

Я пока так не настраивал, видел как делают другие. В принципе, если у тебя self-hosted, любого банального ПК хватит, если в облаке - надо попробовать на 4-8 ядрах, при необходимости докупить ещё VPS или ядра/RAM.

Shadow ★★★★★
()
Последнее исправление: Shadow (всего исправлений: 6)
  • Markdown
Пустая строка (два раза Enter) начинает новый абзац. Знак '>' в начале абзаца выделяет абзац курсивом цитирования.
Внимание: прочитайте описание разметки Markdown.
Используйте Ctrl-Enter для размещения комментария