LINUX.ORG.RU

Посоветуйте замену rsyslog

 ,


0

1

Привет!

Собственно, сабж.

Нужна какая-то софтина (желательно доступная в стандартных репах большинства дистров), которая будет:

1. Читать лог-файл и слать новые строки на сервер сбора логов

2. Принимать логи от клиентов и складывать их в нужные файлы, учитывая хостнейм отправителя и «теги»

rsyslog уже задолбал, с ним постоянно какие-то проблемы - то он не отправляет «сообщения» (как кэш какой-то, то есть может чуть ли не несколько часов тупо висеть даже не обращаясь к мастеру, а потом вывалить пачку логов когда они уже совсем не нужны), то начинает выжирать CPU, ну и так далее.

Вообще от rsyslog отказаться, я так понимаю, не получится, ну и ладно, пусть системные логи собирает или зачем он там еще нужен. Мне нужно всего лишь что-то, что тупо будет слать логи из определенных файлов на «мастер»-хост.

А, да, логи нужно иметь в «сыром» виде, то есть всякие системы, которые логи парсят и рисуют по ним красивые графики с их клиентами мне не подходят, да и в общем это будет оверхед.

Заранее спасибо!

★★★★★

Я вообще на многих серваках rsyslog удаляю/отключаю :-D особенно, где памяти мало или она в цене. Как и d-bus.

menangen ★★★★★
()

Выбор, в общем-то небольшой. Первый вариант - либо rsyslog, либо syslog-ng. Rsyslog - то еще поделие, это ты правильно заметил, syslog-ng получше, но в бесплатном варианте не умеет релеить, то есть принимать по сети и отправлять дальше. Если тебе это - не ограничение, то попробуй.

Второй вариант - fluentd или logstash. logstash я только издалека видел и так понял, что это - комплексное решение, включающее агентов для сбора логов, центральный сервер, веб-консоль, эластиксеарч и прочие штуки. fluentd - более напоминает замену для rsyslog, он умеет собирать логи на локальной машине из разных источников, парсить/форматировать и переправлять куда попало.

Мы тоже затрахались крутить rsyslog и перешли на fluentd + graylog (который тебе, видимо, не очень нужен). Оно все удобно конфигурится через puppet, достаточно надежно работает (во fluentd есть недочеты, правда) и мы теперь счастливы.

alex_the_v ★★★
()
Ответ на: комментарий от alex_the_v

syslog-ng получше, но в бесплатном варианте не умеет релеить

Значит точно не подходит - это основной юзкейс

fluentd посмотрю, спасибо огромное - раньше он что-то прошел мимо меня, хотя часть ссылок в поисковой выдаче подсвечены, видимо просто не зацепился.

во fluentd есть недочеты, правда

Хотелось бы подробностей.

logstash да, не сильно нужен, для анализа логов используются другие штуки, задача просто их собрать. Кстати, для logstash тоже предлагают rsyslog'ом собирать данные (но вообще я им не пользовался, скорее всего там и клиент какой-то есть), так что тем более не то.

Спасибо!!

alozovskoy ★★★★★
() автор топика
Ответ на: комментарий от alozovskoy

Хотелось бы подробностей.

Например если какой-то из сорцов получает невалидные данные от которых валится регексп, то агент затыкается и перестает передавать что-либо вообще пока не починишь. Я, вот, прямо сейчас работаю над проблемой, там в catalina.out попадает что-то не очень консистентное и хост не шлет логи, отключаешь сорс catalina.out и все сразу пучком.

Вся эта штука написана на руби, и я тебе рекомендую брать репы от Treasure Data и ставить их пакеты, сохранит тебе много времени. Я тоже не люблю руби и не очень верил, что эта штука будет как-то работать, но в целом решение у нас получилось неплохое.

alex_the_v ★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.