В чем хранить логи.

0

1

Добрый день. Возникла потребность в удобном хранении логов. Конечно можно их хранить в виде текста, но хочется искать побыстрее грепа. Хочется что нибудь типа berkleydb чтоб мгновенно получать данные не сканируя весь файл. При этом не хочется каких-то инфраструктур типа монги и прочего. Скачал фал с логами и работай с ним.

Ссылка

← Как создать пользователя?

ubuntu скрипт после пробуждения /lib/systemd/system-sleep →

systemd-journald

mandala ★★★★★
(28.10.18 11:16:31 MSK)

Ответ на: комментарий от mandala 28.10.18 11:16:31 MSK

не годится. В существующей инфраструктуре нет systemd Хочется эдакий elasticsearch но как sqlite

~~demrnd~~
(28.10.18 11:24:40 MSK) автор топика

Посмотри, куда умеет складывать syslog-ng. Может, найдёшь что-то подходящее.

AS ★★★★★
(28.10.18 12:33:22 MSK)

Ответ на: комментарий от AS 28.10.18 12:33:22 MSK

Да в том то и проблема что все что складывает логи легаси. Я их по крону ротэйтю и хочу получить нормальную базу ELK не подходит. Нужно раз в день получать 1 файл и нужно уметь искать по нему не поднимая целого облака. Собственно задача проста. Append only хранилище и запросы. Но все превращается в сраный рэдшифт или ELK

~~demrnd~~
(28.10.18 12:39:05 MSK) автор топика

Ссылка

Конечно можно их хранить в виде текста, но хочется искать побыстрее грепа.

Journal. И фильтры вкусные, без классических костылей из грепа, седа и авка.

~~entefeed~~ ☆☆☆
(28.10.18 12:41:52 MSK)

Ответ на: комментарий от entefeed 28.10.18 12:41:52 MSK

Можно линк дать? А то при поиске я получаю дичь...

~~demrnd~~
(28.10.18 12:44:12 MSK) автор топика

Ответ на: комментарий от demrnd 28.10.18 12:44:12 MSK

man journalctl

Можешь не благодарить.

~~entefeed~~ ☆☆☆
(28.10.18 12:45:52 MSK)

Ответ на: комментарий от entefeed 28.10.18 12:45:52 MSK

не годится... Яж говорю логи УЖЕ в файлах

~~demrnd~~
(28.10.18 12:49:13 MSK) автор топика

Ответ на: комментарий от demrnd 28.10.18 12:49:13 MSK

Перегони их в журнал.

~~entefeed~~ ☆☆☆
(28.10.18 12:51:16 MSK)

Ответ на: комментарий от entefeed 28.10.18 12:51:16 MSK

Ладно... Я работаю в конторе где такое не работает - есть файлы- живи.... Условия граничные такие.

~~demrnd~~
(28.10.18 12:56:35 MSK) автор топика

Ссылка

Ну и складывай в sqlite та й не парься.

anonymous
(28.10.18 13:38:14 MSK)

Ссылка

А вообще-то ClickHouse.

anonymous
(28.10.18 13:39:10 MSK)

Ответ на: комментарий от anonymous 28.10.18 13:39:10 MSK

Только это инфраструктура. Кликхаус уже 2 слоя внизу leveldb

~~demrnd~~
(28.10.18 13:50:21 MSK) автор топика

Ответ на: комментарий от demrnd 28.10.18 13:50:21 MSK

Просто ты хочешь странного. Смирись и юзай CH.

anonymous
(28.10.18 13:53:27 MSK)

Ссылка

Структурированные логи и любая БД на твой вкус.

mersinvald ★★★★★
(28.10.18 16:29:13 MSK)

Ссылка

Если компания не дает улучшить инфраструктуру, что профитно в первую очередь самой компании — беги оттуда.

mersinvald ★★★★★
(28.10.18 16:30:55 MSK)

Ссылка

Ответ на: комментарий от demrnd 28.10.18 11:24:40 MSK

Хочется эдакий elasticsearch но как sqlite

Как ты это себе представляешь? Если логи можно распарсить и положить в таблицу с жестко заданной схемой, то так и надо делать: я бы скриптик написал, если не могешь, то импорти файлы через syslog-ng или logstash какой-нибудь. А если структуры нет, то тут только полнотекстовый поиск - elasticsearch пригодится, а sqlite нет

annulen ★★★★★
(28.10.18 16:37:39 MSK)