LINUX.ORG.RU
решено ФорумAdmin

Осваиваю Fluentd. Глупые вопросы

 , , ,


0

2

Привет.

Осваиваю Fluentd. Планирую использовать для централизованного сбора и анализа логов. Интересны несколько вопросов.

Сейчас Fluentd складывает данные в Graylog2 по протоколу GELF (UDP). При этом шифрования нет (про GELF TCP знаю). Значит нужно форвардить все данные в один fluentd, который уже будет перекладывать данные в Graylog2.

Меня смущает то, что парсинг логов делается на каждой ноде (клиенте fluentd). Есть допустим логи приложения, есть определенная регулярка для парсинга логов. И допустим это приложение запущено на нескольких серверах. Формат логов один и тот же, но парсинг делается не централизованно, а на каждом сервере. Если используются какие-то плагины для парсинга логов, то эти плагины так же должны быть установлены на каждом сервере.

Можно ли настроить парсинг на центральной ноде? И вообще правильно ли так делать? Может быть я не прав и надо парсить на каждом сервере?

Мне кажется, ты фигню хочешь сделать. На каждой ноде у тебя приложение генерирует логи, там же ты их парсишь (ты не можешь их не парсить - флюент оперирует структурированными данными), а потом форвардишь на свою центральную ноду, которая куда-то дальше их отправляет.

Либо нужно организовать пересылку данных в сыром виде на центральный сервер (через тот же syslog, например), и там уже парсить, но мне кажется, что ты ничего особо не выиграешь - разбор регулярки проходит достаточно быстро.

tiandrey ★★★★★
()
Последнее исправление: tiandrey (всего исправлений: 1)
Ответ на: комментарий от tiandrey

Понял, значит централизация отменяется, спасибо.

Black_Roland ★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.