LINUX.ORG.RU

Релиз systemd v38 c поддержкой Journal, замены системе syslog

 , , ,


0

2

Леннарт Поттеринг (Lennart Poettering) анонсировал новый экспериментальный релиз системного менеджера systemd v38, примечательный интеграцией наработок проекта Journal, в рамках которого развивается подсистема, призванная заменить собой службу syslog и другие сопутствующие сервисы журналирования событий. Подробный обзор особенностей Journal и отличий от syslog можно прочитать в первом анонсе проекта.

Сообщается, что работа над Journal уже близка к завершению, остаётся нереализованными лишь несколько значительных функций и недостаточно проработана документация. Наиболее заметно наличие Journal при выполнении для сервисов команды 'systemctl status', которая теперь выдаёт в том числе и последние сообщения лога для указанного сервиса. Для совместимости с классическим syslog в systemd интегрирована специальная прослойка, которая использует сокет /run/systemd/journal/syslog для приема сообщений, включая перенаправление сообщений из /dev/log.

Данные сохраняются в /var/log/journal, если такая директория создана, в противном случае лог сохраняется в /run/log/journal. Для просмотра журнала следует использовать утилиту systemd-journalctl, которая по умолчанию генерирует вывод, полностью аналогичный формату /var/log/messages. Используя опции "-o verbose", "-o short-monotonic" или "-o json" можно менять детализацию и формат вывода. Для эмуляции поведения «tail -f» предусмотрена опция "-f".

>>> Подробности

Ответ на: комментарий от kovrik

реально работающие вещи
PulseAudio

Хорошая шутка.

GotF ★★★★★
()
Ответ на: комментарий от Rastafarra

Просто его создатели не думали, что ему кто-то будет скармливать файл без заголовков. Но данные восстановить можно.

Reset ★★★★★
()
Ответ на: комментарий от Reset

Кстати, если ты в текстовом логе потеряешь метки, то тоже считай, что потерял лог.

чеита? cat скажет invalid file? less? grep? кто!?

оно не работает нормально с гигабайтами логов

чеита? как минимум r с тобой не согласен.

покажи пример что ли? твои гигабайты в час не пугают, logrotate, вынос syslog на отдельную машину, вынос его хоть на кластер тебя спасут.

еще?

Rastafarra ★★★★
()
Ответ на: комментарий от Rastafarra

чеита? cat скажет invalid file? less? grep? кто!?

у тебя будет месиво из которого придется руками выдирать нужные данные

чеита?

такова реальность

Reset ★★★★★
()
Ответ на: комментарий от Rastafarra

вынос syslog на отдельную машину, вынос его хоть на кластер тебя спасут.

ога, петабайты логов можно складывать сразу в mapreduce для обработки, но вот сюрприз, они там будут храниться в бинарном виде

Reset ★★★★★
()

Прочитал пост и две страницы комментов, но так и не нашёл списка дистрибутивов, где это собираются внедрять по умолчанию. Списка, кто категорически не будет это внедрять тоже не увидел.

"-o json" можно менять детализацию и формат вывода

Логи в JSON? На...Зачем?

inst
()
Ответ на: комментарий от Reset

Данных за день 100 гигабайт. Отчет строится только по определенным записям в логах. Индексация здесь очень поможет.

Да, только сколько ресурсов сожрет индексация? Придется таки выносить логи на отдельный сервер... OH SHI~ поттерлог не умеет работать по сети. Приплыли...

anon8
()
Ответ на: комментарий от Reset

Например, мне надо составить отчет по данным за день. Данных за день 100 гигабайт. Отчет строится только по определенным записям в логах. Индексация здесь очень поможет.

сначала отфильтровываешь свои «определенные записи» - получаешь временный файл на 10Мбайт, а дальше строишь любые свои отчеты мгновенно

anonymous
()
Ответ на: комментарий от Reset

у тебя будет месиво из которого придется руками выдирать нужные данные

да ради бога, наши руки не для скуки. в случае бинарных логов будет месиво, из которого уже _ничего_ не получить.

Данных за день 100 гигабайт. Отчет строится только по определенным записям в логах.

надо взять и проиндексировать текстовые файлы с логами.

Rastafarra ★★★★
()
Ответ на: комментарий от anonymous

Тогда уж сразу писать логи в sql. По крайней мере в нём хоть как-то реализуется профит от бинарности и индекса.

anonymous
()
Ответ на: комментарий от Rastafarra

в случае бинарных логов будет месиво, из которого уже _ничего_ не получить.

это еще почему?

надо взять и проиндексировать текстовые файлы с логами.

А для этого надо, чтобы как минимум строки в логе были разбиты по полям.

Reset ★★★★★
()
Ответ на: комментарий от Rastafarra

надо взять и проиндексировать текстовые файлы с логами

И получить индекс размером с сами логи? А так как логи растут инкрементально, то индекс будет тормозить, фрагментироваться и иметь неоптимальный размер. Надо поттерингу отправить фич-реквест, ему точно понравится идея с индексирование логов.

shahid ★★★★★
()
Ответ на: комментарий от Rastafarra

естественно его нет, о чем ты.

В таком случае будет анализ, который зависит от самого плэйера. Он найдет там границы кадров, или же его «хозяин» сам задаст нужные кодеки. В прицнипе avi можно прочитать до тех пор, пока не потеряны метки, разделяющие кадры. Без них уже ничто не поможет. Но в сравнение с логами - это тоже самое, что потерять символ '\n' в логе. Будет одинаково нечитаемо.

rave
()
Ответ на: комментарий от Reset

я хочу чтобы и фильтрация тоже происходила мгновенно

тогда можно настроить сислог так, чтобы он писал сообщения не только в файл, но и передавал их на вход специальной утилите (пишется на шеле за 5 минут), которая каждое сообщение пережует и либо выкинет как не нужное, либо сложит в особый файл (несколько файлов) для последующей отчетности

anonymous
()
Ответ на: комментарий от Ivan_qrt

Интеграция с CGROUPS, как следствие лучшая отзывчивость

Блажен кто верует

shahid ★★★★★
()
Ответ на: комментарий от rave

Но в сравнение с логами - это тоже самое, что потерять символ '\n' в логе. Будет одинаково нечитаемо.

Ага,

message 1 \n message 2 - читаемо, а message 1 message 2 нечитаемо в принципе. Троллить тоньше надо.

anonymous
()

Ключевой особенностью Journal является использование криптографических средств для гарантирования неизменности и целостности накопленных логов.

Это можно обойти. Конечно не скрыть сам факт изменения журнала а только то что именно было изменено.

A-234 ★★★★★
()
Ответ на: комментарий от shahid

Только обязательно нужно, чтобы это было неотключаемо. Хотя в принципе он и сам так сделает, без наших подсказок.

anonymous
()
Ответ на: комментарий от anonymous

message 1 \n message 2 - читаемо, а message 1 message 2 нечитаемо в принципе. Троллить тоньше надо.

Любимый тут всеми grep будет очень удитвлен, когда увидит одну строку. Это если в частности.

rave
()
Ответ на: комментарий от kovrik

делает реально работающие вещи, остальные - тупо сидят на форумах и поливают их говном...

Говном поливают, не за то, что он что-то делает, а за то, что ломает работающие вещи, делая новое несовместимым с привычными работающими инструментами. Если бы он сделал свой potter_log, совместимый с syslog, расширяющий его (неважно отдельная поделка или набор плагинов к какому-нибудь syslog-ng, реализующий бинарный лог и набор инструментов для работы с ним), то все было бы замечательно. Если такой инструмент будет удобнее, то он вытеснит существующие наработки (как iproute вытеснил ifconfig со товарищи, или grub вытеснил lilo).

Но чувак создал нечто, что решает какие-то его задачи, и ломает существующие решения. В общем налицо NIH синдром (наваяем тут библиотечку, которая решает 3 наших задачи, но ломает решения 10 других задач и сделаем ее несовместимой с существующими решениями). При этом journal пиарится как инновация.

Кроме того, я совсем не понимаю, какие-такие реальные задачи это чудо решает. Я не сталкивался с такими (если у вас генерятся гигабайты логов каждый час, сделайте ротацию раз в час и пихайте их в базу данных - только поймите, таких как вы единицы и ваша задача - экзотика, необычная для syslog'а).

Прикинь, ты завтра проснешься, а тебе скажут, мы тут придумали новый язык, смесь эсперанто и китайского. Его придется выучить, писать будешь иероглифами, так меньше места на бумаге тратится. А ты будешь чесать репу и думать: «Так, а чем русский плох? И какая мне от этого польза будет?»

anonymous
()
Ответ на: комментарий от Reset

Например, мне надо составить отчет по данным за день. Данных за день 100 гигабайт. Отчет строится только по определенным записям в логах. Индексация здесь очень поможет.

Залей данные в базу с нужными индексами и делай выборки какие надо.

Сколько пользователей сислога делают выборки по 100Г ежедневным логам?

Мне нужно чтобы при появлении определенной строчки в syslog отправлялся SNMP Trap на нужный адрес, будем snmp в syslog встраивать?

anonymous
()
Ответ на: комментарий от Reset

Кстати, если ты в текстовом логе потеряешь метки, то тоже считай, что потерял лог.

Чтобы потерять _весь_ текстовый лог, надо убить _все_ newline. Чтобы потерять бинарный лог с компрессий (да, это настройка поттерлога по-умолчанию) достаточно просто похерить индексы и заголовок первого фрейма лога - если записи не имеют фиксированной длины, это приведет бинарник в нечитабельное состояние, откачать из которого его можно только при большом везении.

И еще - индекс на текстовый файл строится также как и на бинарный файл.

no-dashi ★★★★★
()
Ответ на: комментарий от Reset

это еще почему?

пример с ави выше я дал, все используемые инструменты есть в интернете. твой «не убиваемый» бинарый формат сдох от элементарной вещи. пример годного плеера, который не подавится, ты не показал, почему-то, значит примера не убиваемого бинарного формата таки нет.

Rastafarra ★★★★
()
Ответ на: комментарий от inst

Прочитал пост и две страницы комментов, но так и не нашёл списка дистрибутивов, где это собираются внедрять по умолчанию.

Если бы это был Дениска Попов, то всем было бы пофиг, но, чувак - сотрудник RedHat и делает все это явно не just for fun.

https://en.wikipedia.org/wiki/Lennart_Poettering

Первую экспериментальную реализацию Journal планируется интегрировать в дистрибутив Fedora 17

отсюда http://www.opennet.ru/opennews/art.shtml?num=32347

anonymous
()
Ответ на: комментарий от shahid

И получить индекс размером с сами логи?

пробрось логи из сислога своей спец.утилите, которая их будет хранить в удобном виде, в чем проблема?

Rastafarra ★★★★
()
Ответ на: комментарий от Rastafarra

Вообще-то пример с avi неплохой. Там каждый фрейм начинается с magikword-a, так что восстановить можно.

anonymous
()
Ответ на: комментарий от rave

сравнение с логами - это тоже самое, что потерять символ '\n' в логе. Будет одинаково нечитаемо.

нуврешьже.тебямамаразвенеучила,чтовратьнехорошо?

Rastafarra ★★★★
()
Ответ на: комментарий от anonymous

восстановить можно.

мне лень пихать FF через каждые 6 байт, чесслово. как только будет способ восстановить файл после моего dd, можно будет заняться. но что-то мне подсказывает, что оно таки сдохнет.

я ошибюсь?

Rastafarra ★★★★
()
Ответ на: комментарий от Rastafarra

нуврешьже.тебямамаразвенеучила,чтовратьнехорошо?

А теперь погэрепай это.

Алсо, мне параллельно на Поттеринга, однако я использую pulse и systemd. И меня в них, в принципе, все устраивает.

rave
()
Ответ на: комментарий от Rastafarra

когда речь идет о восстановлении

то есть ты можешь глазками пробежать 100 метровый файл в одну строчку записанный. Все, ты победил.

rave
()
Ответ на: комментарий от rave

то есть ты можешь глазками пробежать 100 метровый файл в одну строчку записанный.

у меня для этого есть less и поиск. внезапно. еще есть немного мозгов, чтобы попробовать прикинуть как это дело можно побить на строки обратно. кстати в этом мне могут помочь например регекспы.

что делать с бинарным форматом, если утилита, его читающая, читать отказывается, говоря «файл поврежден»?

Rastafarra ★★★★
()
Ответ на: комментарий от anonymous

Всегда думал, что опенсорс на то и опенсорс, что если кому-то чего-то не нравится, то он пишет свой лисапед. Вон каждый второй плеер пишет - и ничего. Как бы, решение простое - тупо не ставьте этот systemd и все. Не вижу проблемы

kovrik ★★★★★
()
Ответ на: комментарий от kovrik

Всегда думал, что опенсорс на то и опенсорс, что если кому-то чего-то не нравится, то он пишет свой лисапед.

Не за каждым стоит Redhat.

tailgunner ★★★★★
()
Ответ на: комментарий от Reset

не формат сдох

формат-то конечно нет. формат --- это описание структуры, конечно. оно, это описание, сдохнуть не может.

но вот чтец этого формата файл этого формата прочитать не может. варианта два: формат гавно или чтец гавно. правильного чтеца отчего-то никто не показывает, вероятно дело в формате.

Rastafarra ★★★★
()
Ответ на: комментарий от Rastafarra

что делать с бинарным форматом, если утилита, его читающая, читать отказывается, говоря «файл поврежден»?

" less и поиск. внезапно. еще есть немного мозгов, чтобы попробовать прикинуть как это дело можно побить на блоки обратно"

Reset ★★★★★
()
Ответ на: комментарий от Rastafarra

Разжевываю специально для тугих на голову. Берешь ffmpeg, находишь все кадры (начинаются на 00wc если я еще не забыл), скармливаешь ему и декодируешь (кодек ты знаешь).

Reset ★★★★★
()

Как остановить этот дурдом?

Единственный вопрос, который меня волнует - как остановить этот дурдом имени Поттеринга? Неужели единственный выход - посносить нахрен кругом линух и поставить FreeBSD?

Елы, дистростроители тоже все психи типа Ленарта?!! Сначала гребаный PulseAudio, потом systemd, теперь еще и логи?!!

alukin
()
Ответ на: комментарий от Nicholass

Не проще за те же деньги заказать кому-нибудь запилить что-то годное? Например того, кто разделит SystemD и этот новомодный журнал в независимые сущности.

zink ★★
()
Ответ на: комментарий от Axon

ссылок сходу не нашел. Смысл в том, что системд запуская любые процессы определят их в какие-либо группы, и не позволяет им, вообще в принципе не позволяет, отфоркаться так, чтобы потеряться из этой группы. Что очень распространено у скриптовых инитов, с 1000 форков. Как следствие все процессы приписаны куда надо, и проще распределять между ними ресурсы.

Ну это так в теории. Сильнее всего сие должно проявляться в Гнуме3, т.к. у них есть система инициализации на основе системд (в смысле инициализация самого гнома). Но кеды тоже подтянутся, никуда не денутся.

Ivan_qrt ★★★★★
()
Ответ на: комментарий от kovrik

Как бы, решение простое - тупо не ставьте этот systemd и все. Не вижу проблемы

Если будет выбор, ставить или нет, то все замечательно. Если выбор превратится «не ставить systemd» == «не ставить fedora», то уже не очень, а если «не ставить systemd» == «не ставить половину дистибутивов», то это уже не проблема, а капец.

Не нравится вам ноутбук с виндой-не покупайте. Когда есть аналогичная модель без винды - все здорово, когда без винды всего 3 модели и ни одна тебе не подходит, то «не покупайте» не получиться.

anonymous
()
Ответ на: комментарий от anonymous

Полностью согласен.Я к тому, что говна и так полно, кроме systemd, и решающий тут фактор - не его наличие, а благоразумие мэйнтейнеров дистра, чтобы они не пихали говно в дистрибутивы...
А говно - ну есть, и есть, кто хочет - ставит, кто не хочет - не ставит.

kovrik ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.