Анализ и сопоставление записей в логах

man grep

Не смешно. хочется нормального описания событий, а не макароны if'ов

perl

>Задачи что-то вроде «если в логе 1 появилась запись X, в логе 2 появилась Y, а в логе 3 до записи Z1 не появлялас Z2, то делаем вывод что случилось нечто и генерируем событие»

Это решается без всяких макаронов. Всё что нужно - почитать (и понять) мануал по grep'у

>Не смешно. хочется нормального описания событий, а не макароны if'ов

А как оно примерно должно выглядеть, это нормальное описание?

А так вообще AWK.
Или Perl.

Да ладно? perl сойдет за grep на стероидах? Вот тут (http://docstore.mik.ua/orelly/perl2/sysadmin/ch09_05.htm) в секции 9.5.2 развели тонны кода просто ради того, что б из wtmp и xferlog понять что и когда делал пользователь. И это всего лишь тривиальный случай.

Так что grep и perl могут решить эту задачу, но слишком большой ценой.

Я ищу что-нибудь декларативное, когда на каком-нибудь DSL описываешь что ищешь (учитывая зависимости и условия, в том числе и по времени между событиями), скармливаешь логи и оно выдает всё что нашло.

#!/usr/bin/env python
# -*- coding: utf8 -*-

import tailer
import re
import subprocess

path = '/var/log/test.log'

def send_msg(text, receive):
    cmd = """ echo %s | /bin/jabber_sender.py -t %s """ % (text, receive)
    subprocess.Popen(cmd ,shell=True, stdout = subprocess.PIPE)

if __name__ == "__main__":
    for line in tailer.follow(open(path)):
	match = re.findall('J;\d;\d;([a-zA-Z0-9_ ]+)', line)
	if match:
	    send_msg(match[0], '***@jabber.ru')

?

>Я ищу что-нибудь декларативное, когда на каком-нибудь DSL описываешь что ищешь (учитывая зависимости и условия, в том числе и по времени между событиями), скармливаешь логи и оно выдает всё что нашло.

Так бы и сказал. Тогда awk.

Может быть OSSEC? (http://www.ossec.net/) Например, http://www.ossec.net/doc/manual/monitoring/index.html

(Сам не пробовал, но знаю, что там есть возможность писать правила для лог файлов в виде простого XML-я. Вот только не знаю про поддержку нескольких файлов сразу.)

Prelude-ids

>Возникла задача делать выводы анализируя несколько лог файлов, наверняка уже существуют инструменты как раз для этого. Не подскажите? или хотя бы ключевые слова для гугления.

SIEM

>А как оно примерно должно выглядеть, это нормальное описание?

Что-то похожее на Sawzall от Google (http://www.linux.org.ru/news/opensource/5519001) только чуть более statefull, а без этого Sawzall годен только статистику собирать

конечные автоматы тебе в руки

logwatch/logcheck, после некоторой допилки. Но там perl...