LINUX.ORG.RU

Просмотр огромных логов

 , ,


0

2

Собственно чем? Сейчас мой скрипт на питоне огромную портянку выдаёт из 80 000 записей, мне бы её быстренько глазками пробежать, так как записи сортированы и до определённого момента меняются плавно и надо посмотреть на то место, где резкий скачок происходит. В консольку всё не помещается, а лимит крутить я не хочу, в файл гнать вывод и glogg-ом смотреть, ну как вариант, сейчас так и делаю. Может есть что-то удобнее?

★★★★★

Ответ на: комментарий от RazrFalcon

Не, без богомерзкой проприетарщины плиз. Мне это потом (после пандемии, даже если карантин снимут раньше) ещё неокрепшим умам надо будет показать. glogg всем хорош, только с поиском и длинными строками не очень удобен.

peregrine ★★★★★ ()
Ответ на: комментарий от DllMain

Это так. 80k строк на тестовом множестве и 800k строк на реальных данных. График то я построил, так что примерно знаю что там ждать, теперь хочется посмотреть на каких данных происходит принципиальный перелом ситуации, возможно глазками точную границу увидеть получится точнее, чем производной или любым другим автоматическим алгоритмом (хотя да, они все +- в одно место тычат с погрешностью в сотку).

peregrine ★★★★★ ()
Ответ на: комментарий от peregrine

Perl это, вообще-то, Practical Extraction and Report Language. Когда хотя бы представление имеешь что именно искать в лога, то самое оно.

Ну а так-то да… Как говорится, барин знает что с кобылой делать, наше дело хвост держать. =)))

anonymous ()
Ответ на: комментарий от peregrine

Я год уламывал админов на ELK, но когда они всё сделали я дико пожалел. Когда не умеют готовить, получается полнейшая шняга.

Раньше мне нужно было ходить на хост, фигачить там алиасы и грепать. Ну как бы норм, но долго, и хотелось по-людски —централизовано. Сейчас, казалось бы, красота, нафигачил фильтры, шёлкаешь, да смотришь всё в одном месте. Но хрен там был, постоянно что-то отваливается да тормозит так, что лучше бы просто ходил и грепал по-старинке.

WitcherGeralt ★★ ()
Ответ на: комментарий от anonymous

Жалкие 20 мегабайт текста. Там всего слово и некоторая цифра в строке, всё в utf8. а вот gedit-у и leafpad-у плохо от такой мелочи. Но вообще приходится иногда смотреть логи по 2-3 гигабайта с поиском по ним нужного района и оттуда плясать.

peregrine ★★★★★ ()
Ответ на: комментарий от evgeny_aa

Хз со скольки оно начинает тормозить, на моём основном проекте 13-15 миллионов строк в сутки. По соседству какой-то вообще с соотнями миллионов. Я просто предупреждаю, что ELK — днище.

WitcherGeralt ★★ ()
Ответ на: комментарий от bytecode

Логи в реляционке? А вы знаете толк.

Ну а зачем тогда в syslog-ng по дефолту есть схемы для разных СУБД? Например, вот – https://www.syslog-ng.com/technical-documents/doc/syslog-ng-open-source-edition/3.17/administration-guide/43

Да, если мне флуктуации трафика посмотреть надо на сети из нескольких тысяч машин, то такой подход проще, чем парсить тем же перлом хренову гору отдельных файлов и изображать поиск иголки в итоге сена. И тут не важно от чего логи – от цисок, от серверов, от отдельных хостов… Пофиг.

Ну и да. У нас даже на виндовых машинах, если они где и остались, используется конвертер Events->syslog. Ибо это просто удобно.

А так-то… Барин, кобыла, еённый хвост (см. выше). =)))

anonymous ()
Ответ на: комментарий от deep-purple

Потому что он в состоянии разработки (уже готов)! Я его пишу, а этот лог генерировался только временно, для отладки того, что происходит в цикле (отладчиком уж очень неудобно информацию было собирать, да и в gui тыкаться миллион раз уж увольте).

peregrine ★★★★★ ()
Последнее исправление: peregrine (всего исправлений: 1)