LINUX.ORG.RU
ФорумAdmin

Централизованное хранение и управление логами


0

1

Доброе время суток. Я думаю, данный форум наибольшим способом подходит под суть вопроса. Имеется 7-ь серверов. На разных установлены различные приложения. Например ( Апач тот же самый, мускул, пхп, ехим, днс и т.д.) Во первых - есть огромное желание видеть их в мускуле. Огромный набор приемуществ. Во вторых - хотелась бы высокая скорость обработки ( Логи при ддосе вырастют до 10-ти гигов в сутки). Можно уменьшить их колво - отключив вывод ненужной информации, но примерно про такие объемы хочется вести диалог. В третих - Простая приспосабливаемость под любой тип логов. Уверен, что есть готовые решения... Хотелось бы на основе их делать небольшой анализатор трафика, что блочить, что нет.. Но это уже просто скул запросами..

Спасибо всем.


rsyslog для сислогов. для apache был модуль какой-то для сбора логов с разных хостов. заставлять apache писать в сислог, по-моему, не вариант.

херачить сырые логи с мускул - тоже бредятина и ни к чему. надо какой-нить агрегатор, и уже его результаты пихать в мускул^Wпостгрес!

aol ★★★★★
()

да, и «анализатор трафика» по логам - это как лечение сглаза по фотографии, есличо ;)

aol ★★★★★
()
Ответ на: комментарий от aol

Почему же) Вполне можно получить более мение поддающийся анализу результат. Допустим, в сумме видим 50-ть обращений в минуту с однойго айпи. В бан этот айпи. Логично. Имея прошлые логи - вполне возможно получить, что этот айпи-пи раз в неделю открывает 20-30-ть коннектов и все. Тут уже про флуд пакетами например, можно забыть.. Наиболее примитивный способ описал, как пример. А список по, приведенное, восновном для введение в курс вопроса. Хотелось бы видеть не отдельные модули, а именно один скрипт, демон, кто угодно), который можно научить понимать логи ( грубо говоря, как парсинг обычной csv) Не ожидал такой быстрой активности)

QuZ
() автор топика
Ответ на: комментарий от QuZ

но это ни разу не анализатор трафика! это анализатор логов. велосипеды можно не изобретать. есть fail2ban.

aol ★★★★★
()
Ответ на: комментарий от aol

Видно не так выразился. На основании логов делать аналитику трафика. Сейчас посмотрим ссылочку. Спасибо.

QuZ
() автор топика
Ответ на: комментарий от aol

Да, спасибо. Интересный продукт. Но у него все же немного другой подход, хотя использовать точно стоит. Думал данным вопросом решить несколько проблем - простой доступ к логам, сортировка, анализ, выдачу конечным пользователям. Т.е. Гуи для этого написать пользовательское будет не проблема, админское мб, на изменение некоторых конфигов, например, включаем на пол часа вывод ошибок по недостающим файлам, после чего, он опять меняет значение на вывод только фаталов в логах. Но для реализации всего этого как раз и требуется централизованное хранение. Лазить по ссх по каждому серваку и смотреть на это - не интересно. Очень много ресурсов человчиских можно освободить. Я посмотрю ссылки, которые скинули, изучу документацию. Если есть еще у кого варианты - с удовольствием так-же прогуглю. Спасибо.

QuZ
() автор топика
Ответ на: комментарий от QuZ

ну, смотри: rsyslog или syslog-ng настраиваешь на передачу логов по tcp или udp вот ты их и собрал на одном компе. в чем проблема-то? надо банить на каждом из компов? поставил на каждый fail2ban и готово.

не мешай все задачи в одну. ничего хорошего не выйдет с большой вероятностью ;)

aol ★★★★★
()
Ответ на: комментарий от aol

Благодарю) Сейчас пытаюсь подружиться с fail2ban, настройки вроде все простые, юзабили отличное) Вот еррорит при старте, жаль.

Restarting authentication failure monitor: fail2banTraceback (most recent call last): File «/usr/bin/fail2ban-client», line 401, in <module> if client.start(sys.argv): File «/usr/bin/fail2ban-client», line 370, in start return self.__processCommand(args) File «/usr/bin/fail2ban-client», line 180, in __processCommand ret = self.__readConfig() File «/usr/bin/fail2ban-client», line 374, in __readConfig self.__configurator.readAll() File «/usr/share/fail2ban/client/configurator.py», line 58, in readAll self.__jails.read() File «/usr/share/fail2ban/client/jailsreader.py», line 41, in read ConfigReader.read(self, «jail») File «/usr/share/fail2ban/client/configreader.py», line 59, in read SafeConfigParserWithIncludes.read(self, [bConf, bLocal]) File «/usr/share/fail2ban/client/configparserinc.py», line 105, in read fileNamesFull += SafeConfigParserWithIncludes.getIncludes(filename) File «/usr/share/fail2ban/client/configparserinc.py», line 76, in getIncludes parser.read(resource) File «/usr/lib/python2.6/ConfigParser.py», line 286, in read self._read(fp, filename) File «/usr/lib/python2.6/ConfigParser.py», line 510, in _read raise e ConfigParser.ParsingError: File contains parsing errors: /etc/fail2ban/jail.conf [line 86]: 'in /etc/fail2ban/jail.local.\n' failed!

Так, к слову. Разобраться разберусь, пока еще в файлах не копался

Решил вопрос отключение jail.local и прописал в основной конфиг новые правила. Если есть варианты - как сделать, чтобы работал - буду рад.

QuZ
() автор топика
Ответ на: комментарий от QuZ

Сейчас правила смотрю для апача, думаю про то, как написать. Есть айпи, который в течении минуты каждую секунду отправляет с 50-ток запросов на скачку ( Представим, как телепортПро)

Не нашел правил в нем, описывающих временных интервалов. Как я понял, такого фильтра для данного по не написать.

QuZ
() автор топика
Ответ на: комментарий от QuZ

Интересная тема однако, хочется свой ляп внести. Может еще чуток вперед подумать и с Zabbix'ом покрутить. Для семи тачек особо вкусно будет. Умеет логи курить да и блин, очень он гибкий с эктив чеками.

да, и «анализатор трафика» по логам - это как лечение сглаза по фотографии, есличо ;)

Очень даже верно. Вопрос с количеством отстуков это как «2мб это много или мало?!»
Расскажете потом как вышло все, спс!

Spuddy
()

Ещё auth.log неплохо было бы собирать, в append-only режиме.

muon ★★★★
()

7-ь

50-ть

20-30-ть

с 50-ток

и как это надо читать?

sdio ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.