Самый простой способ парсинга временных интервалов логов

Регулярками.

Как-то так

grep -E 'Mar 11 (6:[3-5][0-9]|12:[1-3][0-9])'

Как уже сказали - регулярки в grep'е. Только если файл большой и нужно будет много парсить в этом временном промежутке то сначала грепаю по времени в отдельный файл, а дальше по нему уже ищу. Кстати, нужно было как-то прогрепать лог на пару гигабайтов, посмотреть сколько обращений с каждого адреса приходит, так грепать каждый раз этот большой файл получилось быстрее, чем для каждого адреса считать количество вхождений а потом sed'ом удалять эти строки из файла (я думал что раз файл будет каждый раз уменьшаться то получится быстрее, но получается только дольше из-за того что sed постоянно временные копии файла делает и потом подменяет основной).

journalctl --since=06:30 --until=12:30

:)

во! ;)

Как-то так, но думаю, что можно лучше. И тут надо быть аккуратным с lt, gt - зависит от формата даты.

perl -nle 'm/^(\d+-\d+-\d+ \d+:\d+:\d+)/; print if $1 gt "1971-01-01 11:11:17" && $1 lt "1971-01-03 11:11:18"' log

У меня еще была идея с unixtime - наверное не верный подход =)

1. выкинуть дефолтный syslog, хранить логи бинарно. Systemd, например.
или 2. Хранить логи в sql, юзать SELECT
или 3. Хранить логи в спец хранилищах типа Logstash

Пользоваться регулярками - маразм. Никого не смущает, что там даже ГОД не указан, а только месяц и день?

P.S. Почему регулярки маразм? Вдруг придется искать логи с 1999.12.30 по 2000.01.01. Пример рабочей регулярки?

Что-то в этом духе?

perl -nle 'm/^(\d+-\d+-\d+ \d+:\d+:\d+)/; print if $1 gt «199-12-30 00:00:00» && $1 lt «2000-01-01 00:00:00»' log

Но я таки за спецализированное решение. Такой способо нормальный для эпизодических применений.

syslog-ng, rsyslog давно умеют нативно в SQL.

Почему регулярки маразм? Вдруг придется искать логи с 1999.12.30 по 2000.01.01. Пример рабочей регулярки?

Из личного опыта, обычно это будет 100500 файлов по дням. Грепаются на ура, параллелится на ура. Ты не в теме. В твоем случае 3 файла.

Никого не смущает, что там даже ГОД не указан, а только месяц и день?

Эм, вообще-то современные реализации syslog умеют в кастомный формат даты.

обычно это будет 100500 файлов по дням.

если логов мало - может по неделям или месяцам

это будет 100500 файлов по дням.

ничего, что обычно logrotate в 6.25 работает?

Эм, вообще-то современные реализации syslog умеют в кастомный формат даты.

Таки да, если кастомизировать syslog, так лучше сразу в sql слать

Что-то в этом духе?

Нет. В 99% случаев будет Dec 31 & Jan 1. Пока не сконфигуришь syslog. Но лучше уж сразу конфигурять на посылание в sql, а не полумеры в виде strftime.

Сорь, в ОП посте вполне определённый формат.

Тред начинает медленно пахнуть бинарными логами

а почему в Perl никто DateTime не пользуется - медленно и много писать?

 perl -nle 'm/^(\d+-\d+-\d+ \d+:\d+:\d+)/; print if $1 gt "1971-01-01 11:11:17" && $1 lt "1971-01-03 11:11:18"' log 

^^^^^^^^

На самом деле вот это извлечение по паттерну не нужно, можно просто сравнить саму строку, которая в перле $_ , и граничные даты, ведь мы сравниваем строки.

perl -nle ' print if $_ gt "1971-01-01 11:11:17" && $_ lt "1971-01-03 11:11:18"' log

Колись, кибальчиш, с мыслью о сраче тред создавал?! Арчера не трудно наванговать))

Век воли не видать - не ради срача. Просто хочу знать как пипл с логами работает

Действительно, здорово, даже не подумал об этом.

а почему в Perl никто DateTime не пользуется - медленно и много писать?

Это монстр-комбайн. Если его и использовать, то на полную катушку. А если брать 1-2 фичи из него, то: а) есть более легкие и быстрые альтернативы; б) накостылять велосипед также чаще проще и работать будет быстрее. В остальном, модуль как модуль.