LINUX.ORG.RU

Просмотр огромных логов

 glogg, ,


0

2

Собственно чем? Сейчас мой скрипт на питоне огромную портянку выдаёт из 80 000 записей, мне бы её быстренько глазками пробежать, так как записи сортированы и до определённого момента меняются плавно и надо посмотреть на то место, где резкий скачок происходит. В консольку всё не помещается, а лимит крутить я не хочу, в файл гнать вывод и glogg-ом смотреть, ну как вариант, сейчас так и делаю. Может есть что-то удобнее?

★★★★★

Ответ на: комментарий от RazrFalcon

Не, без богомерзкой проприетарщины плиз. Мне это потом (после пандемии, даже если карантин снимут раньше) ещё неокрепшим умам надо будет показать. glogg всем хорош, только с поиском и длинными строками не очень удобен.

peregrine ★★★★★
() автор топика
Ответ на: комментарий от anonymous

Нет, perl хорош, но не для этого. Мне глазками на колонку чисел быстрее взглянуть, чем perl-ом тыкаться на угад.

peregrine ★★★★★
() автор топика
Ответ на: комментарий от peregrine

Ну кто виноват, что нормального foss текстового редактора нет. Лучше sublime для больших файлов пока не придумали.

RazrFalcon ★★★★★
()
Ответ на: комментарий от DllMain

Это так. 80k строк на тестовом множестве и 800k строк на реальных данных. График то я построил, так что примерно знаю что там ждать, теперь хочется посмотреть на каких данных происходит принципиальный перелом ситуации, возможно глазками точную границу увидеть получится точнее, чем производной или любым другим автоматическим алгоритмом (хотя да, они все +- в одно место тычат с погрешностью в сотку).

peregrine ★★★★★
() автор топика
Ответ на: комментарий от peregrine

VS Codium. Всю «пропиетарщину» вместе с телеметрией выпилили, как говорят, КЕМ.

Korchevatel ★★★★★
()
Ответ на: комментарий от peregrine

Perl это, вообще-то, Practical Extraction and Report Language. Когда хотя бы представление имеешь что именно искать в лога, то самое оно.

Ну а так-то да… Как говорится, барин знает что с кобылой делать, наше дело хвост держать. =)))

anonymous
()
Ответ на: комментарий от peregrine

Особенно рекомендую вгрузить лог в ML. Помогает по быстренькому, без возни посмотреть.

Deleted
()
Ответ на: комментарий от slovazap

Иногда тормозит, переход на середину медленный, поэтому я использую most.

stasolog
()
Ответ на: комментарий от peregrine

Я год уламывал админов на ELK, но когда они всё сделали я дико пожалел. Когда не умеют готовить, получается полнейшая шняга.

Раньше мне нужно было ходить на хост, фигачить там алиасы и грепать. Ну как бы норм, но долго, и хотелось по-людски —централизовано. Сейчас, казалось бы, красота, нафигачил фильтры, шёлкаешь, да смотришь всё в одном месте. Но хрен там был, постоянно что-то отваливается да тормозит так, что лучше бы просто ходил и грепал по-старинке.

WitcherGeralt ★★
()
Ответ на: комментарий от anonymous

Жалкие 20 мегабайт текста. Там всего слово и некоторая цифра в строке, всё в utf8. а вот gedit-у и leafpad-у плохо от такой мелочи. Но вообще приходится иногда смотреть логи по 2-3 гигабайта с поиском по ним нужного района и оттуда плясать.

peregrine ★★★★★
() автор топика
Ответ на: комментарий от evgeny_aa

Хз со скольки оно начинает тормозить, на моём основном проекте 13-15 миллионов строк в сутки. По соседству какой-то вообще с соотнями миллионов. Я просто предупреждаю, что ELK — днище.

WitcherGeralt ★★
()
Ответ на: комментарий от WitcherGeralt

Инфраструктура должна соответствовать объемам, 13-15 в сутки это ещё мало.

evgeny_aa ★★☆
()
Ответ на: комментарий от peregrine

Перловку уже рекомендовали. Плюсую.

Но можно же логи в СУБД залить и дальше sql-запросами. У нас так все логи централизованно и хранятся. Дико удобно.

anonymous
()
Ответ на: комментарий от peregrine

Не, без богомерзкой проприетарщины плиз.

Ну этим Ed или как его там пользуйся. Который для телетайпов в одну сторону

fornlr ★★★★★
()
Ответ на: комментарий от bytecode

Логи в реляционке? А вы знаете толк.

Ну а зачем тогда в syslog-ng по дефолту есть схемы для разных СУБД? Например, вот – https://www.syslog-ng.com/technical-documents/doc/syslog-ng-open-source-edition/3.17/administration-guide/43

Да, если мне флуктуации трафика посмотреть надо на сети из нескольких тысяч машин, то такой подход проще, чем парсить тем же перлом хренову гору отдельных файлов и изображать поиск иголки в итоге сена. И тут не важно от чего логи – от цисок, от серверов, от отдельных хостов… Пофиг.

Ну и да. У нас даже на виндовых машинах, если они где и остались, используется конвертер Events->syslog. Ибо это просто удобно.

А так-то… Барин, кобыла, еённый хвост (см. выше). =)))

anonymous
()
Ответ на: комментарий от den73

Каждую тысячную нельзя. Пока справился при помощи графика и приблизительного номера интересующих строк.

peregrine ★★★★★
() автор топика

Советую посмотреть в сторону ripgrep там есть и multiline и регулярки перловые и тд и тп и он быстрее всех

pinachet ★★★★★
()
Ответ на: комментарий от peregrine

Конкретно на этом файле нет, но на ещё более большом ложилось всё, кроме glogg-а.

я вимом 10Gb логи открывал

habamax ★★★
()

а если зайти с другой стороны:

почему это софт не ротирует логи? так надо софт править!

deep-purple ★★★★★
()
Ответ на: комментарий от deep-purple

Потому что он в состоянии разработки (уже готов)! Я его пишу, а этот лог генерировался только временно, для отладки того, что происходит в цикле (отладчиком уж очень неудобно информацию было собирать, да и в gui тыкаться миллион раз уж увольте).

peregrine ★★★★★
() автор топика
Последнее исправление: peregrine (всего исправлений: 1)
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.