Привет, лор!
Хоть здесь и стало гораздо меньше людей, но вижу, еще остались дата сцайнтисты.
Так что думаю вопросы не останутся без ответа.
У меня есть пет-проект, опенсорсный netflow/IPFIX/sFlow-коллектор/анализатор https://github.com/vmxdev/xenoeye
Одна из его фич - мы не храним все фловы. Данные для отчетов фильтруются (это называется «объекты мониторинга») и агрегируются прямо внутри анализатора.
Это позволяет использовать небольшие и медленные диски и не сильно нагружает систему.
В самых первых версиях (которых нет на гитхабе) мы хранили все данные, но пользователи сразу же начали возмущаться.
У нас были довольно жаркие дискуссии с сетевыми инженерами из крупных телекомов, и они в итоге убедили - хранить все не нужно, агрегированных данных вполне достаточно. Так делают многие коммерческие вендоры и в основном всех устраивает.
Но время идет, хранилища становятся дешевле, и мы опять вернулись к тому что в некоторых случаях можно хранить и все фловы.
Это нужно немногим, в основном для postmortem аналитики, так что фича если и будет, то строго опциональной.
Современный тренд (см. gofolow/goflow2/akvorado) - хранить фловы в clickhouse. На небольшом или сильно семплированном трафике это работает норм, но если у вас много фловов, то приходится строить кластеры и в целом напрягаться.
Если кому-то интересно, как эту задачу решают наши (и не только) техногиганты - почитайте https://habr.com/ru/companies/yandex/articles/1000520/
Что интересно, в итоге они все равно сдались и стали агрегировать
Когда мы начали строить отчёты, стало ясно, что выборки идут слишком долго, а иногда запросы просто падали. Поэтому мы использовали встроенные в ClickHouse механизмы агрегации и сделали таблицы с округлением времени до 5 минут.
В то же время, если взять калькулятор и посмотреть на скорость медленных шпиндельных дисков, то можно осторожно предположить, что получится лить как минимум ~1млн фловов в секунду на одном боксе, без кластеров и гемороя.
А если придумать какую-нибудь хорошую схему компрессии (двухэтапную? многоэтапную?), то наверное и больше.
Минусы того чтобы лить сырые данные без индексов просто в файловую систему очевидны - выборки будут не очень быстрые. Но в нашем случае это не очень и важно - postmortem нужен не так уж и часто, можно подождать, а агрегированное и так уже есть.
Я немного почитал про parquet, ORC и прочие изобретения Apache и пока не очень понимаю, поможет ли хранение в этих форматах.
Поколоночная компрессия для фловов очевидно работает гораздо лучше, чем если просто их жать линейно. Я сделал несколько тестов и оказалось, что компрессия не просто по колонкам IP-адресов, а по колонкам октетов (т.е. если брать не целые адреса A1.B1.C1.D1, A2.B2.C2.D2, … а колонки A1, A2…, B1, B2, …) работает еще лучше. Ну это было предсказуемо, энтропия нижних октетов адресов выше чем верхних.
А в документации к паркету (https://parquet.apache.org/docs/file-format/types/) пишут, что у них минимальная единица хранения INT32. Можно, наверное, каждый октет адреса хранить в INT32, но это выглядит как-то кхем.
И в целом, это же больше про кластерные форматы, а я хочу (пока) обойтись буквально одним боксом. 1mfps - более чем достаточно, не представляю чтобы у кого-то, по крайней мере из наших пользователей, было сильно больше.
Сейчас идея такая - для тех кто хочет хранить все фловы в clickhouse сделать хранение в нем, пусть себе хранят и пердолятся.
А для тех кому нужно лить быстро и без большого оверхеда - лить в файлы и сделать простенькую утилиту, которая будет эти файлы ворочать и конвертировать результат во что-то читаемое.
Но, возможно, я на неправильном пути.
Может быть есть какие-то другие, более солидные решения, специально для таких случаев.
Если есть такие решения, было бы отлично если бы у них была возможность сжимать старые данные с потерями. Свежие пусть будут точные, а старые - почему бы не потерять немного. То есть не просто удалять по TTL, а подержать некоторое время чуть огрубленные данные. А потом уже удалять.
Для семплированных фловов поля с таймстампами, например, можно смело огрублять. Я читал какой-то рисерч, там теряли точность еще и на количестве пакетов/байт в фловах. Тоже выглядит приемлемо. На остальном конечно непонятно как терять точность. Схлопывать адреса/порты в какие-то диапазоны? Но может быть это и не нужно, хотелка опциональная.
Мысли? Мнения?
