Агрегация и анализ логов

Собираю логи, встроеным rsyslog-ом, шлю по сети в graylog2, он хранит и анализирует. Конечно при таком потоке логов нужно мощный тазик под graylog2, т.к там java.

У меня пока так:

• Собираю rsyslog
  
• Принимаю rsyslog
  
• Кладу в файлики
  

На тестовой тачке поднял graylog2 на посмотреть.
Насколько я понял его можно разнести по разным нодам и таким образом повысить перфоманс.

Еще была идея частично класть логи в мускуль или монгу или rrd, чтобы по ним смотреть потом графики, но graylog - это и так умеет.

rsyslog, elasticsearch, graylog2. Elasticsearch узлы можно ставить параллельно для повышения производительности. У меня всё на одном виртуальном сервере и не собираю все логи(только выборочно). При нагрузочном тесте в самом начале эксплуатации потери данных не было. Сейчас он собирает примерно 100 единиц в час, остальное фильтруется.

да, еще некоторые приложения ведут логи в файлах и иногда в довольно неудобных форматах (типа многострочных бектрейсов). для таких приложений я юзаю logstash-shipper с grok-парсером, и шлю затем в graylog2 через GELF.

https://github.com/wvanbergen/request-log-analyzer

А вообще как настроено логгирование приложения?
Оно пишет в syslog-сокет? Сразу в UPD/TCP? В файл?
Если в файл, то как его оттуда потом читаете?

приложение пишет в файл, logstash shipper его читает и конвертит к примеру многострочный backtrace в один event, который затем и шлет в graylog2.

http://logstash.net/docs/1.2.1/inputs/file - читает
http://logstash.net/docs/1.2.1/filters/multiline и http://logstash.net/docs/1.2.1/filters/grok процессят,
http://logstash.net/docs/1.2.1/outputs/gelf выводит.