Какой либой лучше паковать логи?

Непакованное можно на ramdisk писать.

А потом окажетсья что этот десереалитор надо делать под винды, солярис и мак. Люди ведь захотят посмотреть логи

Не ты, так кто-нибудь другой начнёт приучать админов к эпохе systemd

Hi Colleague! I was working for one big 3-letters company when I have similar problem. We was getting abot 6 to 8 TB (yea terabytes) gzipped logs daily. Not from single node, corse :) Solution was : do not handle logs locally, send them over syslog proto to cluster of syslog servers. That servers pack the logs every hour, give them proper name and submit to central storage. To parse the logs out team was using parallel utility and other DIY scripts :)

Hope it helps.

PS: I heard that they considerig special product for this, but I can't comment on it< I'm not longer with 'em. PPS: Nu nety u menya russki buckvy on this laptop, naproc' netu :-(

Nu nety u menya russki buckvy on this laptop, naproc' netu :-(

Родная раскладка должна быть зашита в днк.

Правильная идея, если бы у нас был большой цод и все сервера в нем. Но у нас куча серверов расскиданых по стране от СПб до Владивостока. У нас есть принцип, что система должна успешно работать в случае падения международных линков. В этом случае централизованный сервер для логов не подходит.

У нас есть принцип, что система должна успешно работать в случае падения международных линков. В этом случае централизованный сервер для логов не подходит.

Никто же не заставляет слать сразу именно на центральный сервер, достаточно всего лишь вынести накопитель логов с рабочей машины. Дальше, если нужен централизованный сервер, то можно лениво досылать туда данные с промежуточных накопителей по факту наличия линка.

у нас куча серверов расскиданых по стране от СПб до Владивостока. У нас есть принцип, что система должна успешно работать в случае падения международных линков. В этом случае централизованный сервер для логов не подходит.

централизованный сервер для логов не подходит.

Врёшь, школьник. Это у меня объекты, раскиданные по всей стране. Данные пишутся с тысяч объектов и централизованная модель как нельзя лучше подходит, если разработка централизована. А если разработчики дебилы, то ничем не поможешь.

Нет смысла. Зачем еще один сервер? Проще паковать локально. Сейчас есть быстрые алгоритмы. Ну и еще немного доточим формат логов.

не вижу связи между централизацей разработки и централизацией модели. Ну и забавно, когда меня обзывают школьником :). Батюшка, вы сколько лет разрабатываете?

Ну и забавно, когда меня обзывают школьником :)

«Школьник» в интернетах давным дакно не коррелируется с возрастом. Я имел в виду развитие мозга. А если тебе многалет, то тем хуже для тебя.

Например, 200k строк в секунду. Сейчас они пишутся в очередь в SHM, а оттуда отельный процес пишет в запакованные файлики. Пакуем при помощи zlib

так и пакуйте. Размер окна поменьше сделайте, байт 512.

Еще раз - записи бывают СОВСЕМ разного формата. В общем случае свести их к одному бинарному формату нельзя.

«совсем» это не разговор. Если 80% данных имеют 2..20 форматов, о уже есть смысл так парсить. А остальное хранить as is.

НО, в случае БД, эти операции размазаны по каждой записи.

это и плохо, ибо ТСу нужно БЫСТРО писать, а делать анализ он может не спеша.

7z