LINUX.ORG.RU

3
Всего сообщений: 48

Анализировать лог файл и выполнять действия при нахождении определенных строк?

А есть готовое решение под подобную задачу? Надо делать регексп по строке в лог файле, получать последнее значение, сравнивать его с предыдущим сохраненным и исходя из результата выполнять команды...при выполнении команд надо следить чтобы в исходном лог файле новых ошибок не появилось.

Начал писать «простой костыль на bash», но он разросся до 100 строк и имеет в своем составе вложенные циклы, что как по мне уже «плохой костыль на bash».

P.S. Не предлагайте переписать на perl/python/lua/c++/etc чукча не программист.

UDP: Пока остановился на том что есть...

 

Kolins ()

Влияние логов на производительность системы

Всем привет.

Я не профессиональный админ, в линукс не так «прошарен». Но есть задача разобраться с падением приложения на Java 8, Tomcat, Oracle database.
Так вот, ситуация такая: приложение работает на ubuntu и со временем логи растут и приложение падает, хотя на диске всегда свободно 200+Гигабайт и кеш оперативной памяти очищается каждый час. Может ли быть какой-то предел роста логов? Надо ли их как-то ограничивать?
И какие есть методы грамотного расходования оперативки на линукс серверах?
Извиняюсь за общие вопросы, но в интернете информация вся разная и не структурированная, мне хотя бы на верный путь выйти и гуглить по каким-то ключевым словам.
Спасибо.

 , , , ,

n30 ()

USER_CMD логи в auditd

Добрый день, посетители форума!

Пол дня мучаемся с проблемой появления логов с type=USER_CMD (CentOS 7) в audit.log от всех пользователей, мы получаем такие логи при исполнении команд с sudo, но при использовании root, такие логи не приходят.

Скорее всего, такие логи sudo позволяют получать 2 правила auditd: -w /var/log/sudo.log -p wa -k actions -w /etc/sudoers -p wa -k scope

Подскажите, какое правило даст получать ВСЕ введенные команды от ВСЕХ пользователей с type=USER_CMD?

 , ,

dirt234 ()

Научите найти и устранить проблему - Хром(иум) грузит страницы не до конца.

Помогите начинающему линуксисту раскопать и устранить проблему. ОС Debian 10.8 (x86-64), ядро 4.19.0-14-amd64, Cinnamon 3.8.8, Google Chrome 87.0.4280.88. Суть в том, что Хром (и Хромиум) грузят страницы (любые) не до конца. То картинки крестиками, то какая-нибудь джаваскрипт недозагрузилась. Будто где-то разрыв связи. Короче, приходится по нескольку раз обновлять страницу, чтобы всё загрузилось как надо. При этом родной (из комплекта установки) фаерфокс загружает всё с первого раза. Где посмотреть лог загрузки страниц в хроме, чтобы найти проблему? Или включить какую-нибудь трассировку?

P.S. Надо отметить, что точно такая же конфигурация софта стоит на двух других компах и работает, как часы, т.е. хромы загружают всё отлично. Проблема только на одном локальном компьютере.

 , ,

pavelkq ()

Postgres, почему при log_destination=stderr логи пишутся в /var/log/postgresql/ ?

Есть Ubuntu 18.04 с postgres 9.6.

Настройки Postgres:

-[ RECORD 4 ]---------------------------
name    | log_destination
setting | stderr
-[ RECORD 28 ]--------------------------
name    | logging_collector
setting | off

Логи Postgres пишутся в /var/log/postgresql/:

postgres@sv-db-server:~$ ls -l /var/log/postgresql/
total 2308
-rw-r----- 1 postgres adm 1476867 Dec 26 17:16 postgresql-9.6-main.log
-rw-r----- 1 postgres adm  342171 Dec 20 06:25 postgresql-9.6-main.log.1
-rw-r----- 1 postgres adm   87080 Oct 19 06:25 postgresql-9.6-main.log.10.gz
-rw-r----- 1 postgres adm   23250 Dec 14 06:25 postgresql-9.6-main.log.2.gz
-rw-r----- 1 postgres adm   39443 Dec  6 06:25 postgresql-9.6-main.log.3.gz
-rw-r----- 1 postgres adm  150058 Nov 30 06:25 postgresql-9.6-main.log.4.gz
-rw-r----- 1 postgres adm   20744 Nov 22 06:25 postgresql-9.6-main.log.5.gz
-rw-r----- 1 postgres adm   24497 Nov 16 06:25 postgresql-9.6-main.log.6.gz
-rw-r----- 1 postgres adm   18624 Nov  8 06:25 postgresql-9.6-main.log.7.gz
-rw-r----- 1 postgres adm   92042 Nov  2 06:25 postgresql-9.6-main.log.8.gz
-rw-r----- 1 postgres adm   63055 Oct 25 06:25 postgresql-9.6-main.log.9.gz

Вопрос: stderr = /var/log/postgresql/ получается. Где определяется этот параметр? Почему логи пишутся именно туда? И почему имя лога у меня postgresql-9.6-main.log?

Внимание! Как поменять расположение логов я знаю, но мне просто интересно, почему stderr = /var/log/postgresql/?

 , , ,

iljuase ()

postfix формат лога elk

Можно ли как-то из логов постфикса сделать логи где в одну строку будет

date from to status ? 

Потом это будет в elk засовываться.

 ,

tugrik ()

Логи на сервере

Здравствуйте. Остаются ли логи путей на серверах линукс при добавлении картинки. К примеру на форум когда я гружу аватар, будет ли где-то запись что я загрузил картинку из «С:\user\etc».

 ,

jimbimi ()

MariaDB и права на лог файлы

Приветствую!

MariaDB складывает свои лог файлы в:

bash-4.4$ pwd
/var/log/mariadb
bash-4.4$ ls -l
total 12
-rw------- 1 mysql mysql    0 Jan 17 03:25 mariadb.log
-rw------- 1 mysql mysql 2060 Jan  9 11:34 mariadb.log-20200110.gz
-rw------- 1 mysql mysql  958 Jan 10 04:18 mariadb.log-20200111.gz
-rw------- 1 mysql mysql 1838 Jan 16 23:15 mariadb.log-20200117.gz

При этом права доступа к файлам имеет только пользователь mysql. Мне надо дать доступ на чтение другим пользователям, для этого, надо чтобы файлы создавались с правами на чтение для группы mysql (хотя бы), а не только для пользователя mysql.

Вопрос где вообще настраивается с какими правами создаются лог файлы?

 , ,

samson_b ()

Есть ли где нибудь открытые сервисы, которые сохраняют чаты с IRC каналов?

Сабж?

 , ,

kookoo ()

Проблемма при выключении или перезагрузки в Kali.

Добрый день,

При перезагрузке или выключении получаю:

A stop job is running for User Manager for UID 131
каждую секунду UID 131 меняется на 0

0 это мой root 131 это Debian-gdm

Debian-gdm:x:131:141:Gnome Display Manager:/var/lib/gdm3:/bin/false

uname -a Linux pc 4.19.0-kali4-amd64 #1 SMP Debian 4.19.28-2kali1 (2019-03-18) x86_64 GNU/Linux

При чем данное сообщение появляется не всегда(зависимость уловить не смог) предполагаю что проблема именно в демоне gdm3, ниже его конфиг:

# GDM configuration storage - modified by kali-root-login
#
# See /usr/share/gdm/gdm.schemas for a list of available options.

[daemon]
# Uncomment the line below to force the login screen to use Xorg
WaylandEnable=false
# Enabling automatic login
#  AutomaticLoginEnable = true
#  AutomaticLogin = root

# Enabling timed login
#  TimedLoginEnable = true
#  TimedLogin = user1
#  TimedLoginDelay = 10

# Reserving more VTs for test consoles (default is 7)
#  FirstVT = 9

[security]
AllowRoot = true

[xdmcp]

[greeter]
# Only include selected logins in the greeter
# IncludeAll = false
# Include = user1,user2

[chooser]

[debug]
# More verbose logs
# Additionally lets the X server dump core if it crashes
#  Enable = true

При работе проблем вроде не возникает.

service gdm3 status

● gdm.service - GNOME Display Manager
   Loaded: loaded (/lib/systemd/system/gdm.service; static; vendor preset: enabled)
   Active: active (running) since Tue 2019-09-03 10:50:23 EDT; 29min ago
  Process: 639 ExecStartPre=/usr/share/gdm/generate-config (code=exited, status=0/SUCCESS)
 Main PID: 641 (gdm3)
    Tasks: 3 (limit: 4915)
   Memory: 8.7M
   CGroup: /system.slice/gdm.service
           └─641 /usr/sbin/gdm3

Sep 03 10:50:23 pc systemd[1]: Starting GNOME Display Manager...
Sep 03 10:50:23 pc systemd[1]: Started GNOME Display Manager.
Sep 03 10:50:23 pc gdm-launch-environment][645]: pam_unix(gdm-launch-environment:session): session opened for user Debian-gdm by (uid=0)
Sep 03 10:50:34 pc gdm-password][995]: pam_unix(gdm-password:session): session opened for user root by (uid=0)

Вывод last last -x | less

root     :1           :1               Tue Sep  3 10:50   still logged in
runlevel (to lvl 5)   4.19.0-kali4-amd Tue Sep  3 10:50   still running
reboot   system boot  4.19.0-kali4-amd Tue Sep  3 06:50   still running
shutdown system down  4.19.0-kali4-amd Tue Sep  3 10:50 - 06:50  (-3:59)
root     :1           :1               Tue Sep  3 10:45 - 10:48  (00:03)
runlevel (to lvl 5)   4.19.0-kali4-amd Tue Sep  3 10:45 - 10:50  (00:05)
reboot   system boot  4.19.0-kali4-amd Tue Sep  3 06:45 - 10:50  (04:05)
shutdown system down  4.19.0-kali4-amd Tue Sep  3 10:44 - 06:45  (-3:59)
root     :1           :1               Tue Sep  3 10:42 - down   (00:02)
runlevel (to lvl 5)   4.19.0-kali4-amd Tue Sep  3 10:42 - 10:44  (00:02)
reboot   system boot  4.19.0-kali4-amd Tue Sep  3 06:42 - 10:44  (04:02)
shutdown system down  4.19.0-kali4-amd Tue Sep  3 10:42 - 06:42  (-3:59)
root     :1           :1               Tue Sep  3 10:39 - 10:40  (00:01)
runlevel (to lvl 5)   4.19.0-kali4-amd Tue Sep  3 10:39 - 10:42  (00:03)
reboot   system boot  4.19.0-kali4-amd Tue Sep  3 06:39 - 10:42  (04:03)
shutdown system down  4.19.0-kali4-amd Tue Sep  3 10:39 - 06:39  (-3:59)
root     :1           :1               Tue Sep  3 10:37 - 10:37  (00:00)
runlevel (to lvl 5)   4.19.0-kali4-amd Tue Sep  3 10:36 - 10:39  (00:02)
reboot   system boot  4.19.0-kali4-amd Tue Sep  3 06:36 - 10:39  (04:02)
shutdown system down  4.19.0-kali4-amd Tue Sep  3 00:00 - 06:36  (06:36)  

Инфа из логов: egrep -ir "(shut|reboot)" /var/log/*

/var/log/syslog:Aug 29 11:31:34 pc kernel: [    0.000000] secureboot: Secure boot could not be determined (mode 0)
/var/log/syslog:Aug 29 11:31:34 pc systemd[1]: Starting Update UTMP about System Boot/Shutdown...
/var/log/syslog:Aug 29 11:31:34 pc systemd[1]: Started Update UTMP about System Boot/Shutdown.
/var/log/syslog:Aug 29 11:31:34 pc systemd[1]: Starting Restore /etc/resolv.conf if the system crashed before the ppp link was shut down...
/var/log/syslog:Aug 29 11:31:34 pc systemd[1]: Started Restore /etc/resolv.conf if the system crashed before the ppp link was shut down.
/var/log/syslog:Aug 29 11:31:34 pc cron[569]: (CRON) INFO (Running @reboot jobs)
/var/log/syslog:Aug 29 11:31:34 pc kernel: [    1.703977] nvme nvme0: Shutdown timeout set to 8 seconds
/var/log/syslog:Aug 29 11:33:07 pc geoclue[871]: Service not used for 60 seconds. Shutting down..
/var/log/syslog:Aug 29 12:57:03 pc kernel: [    0.000000] secureboot: Secure boot could not be determined (mode 0)
/var/log/syslog:Aug 29 12:57:03 pc systemd[1]: Starting Update UTMP about System Boot/Shutdown...
/var/log/syslog:Aug 29 12:57:03 pc systemd[1]: Started Update UTMP about System Boot/Shutdown.
/var/log/syslog:Aug 29 12:57:03 pc systemd[1]: Starting Restore /etc/resolv.conf if the system crashed before the ppp link was shut down...
/var/log/syslog:Aug 29 12:57:03 pc cron[567]: (CRON) INFO (Running @reboot jobs)
/var/log/syslog:Aug 29 12:57:03 pc systemd[1]: Started Restore /etc/resolv.conf if the system crashed before the ppp link was shut down.
/var/log/syslog:Aug 29 12:57:03 pc kernel: [    0.096493] Unless you actually understand what nomodeset does, you should reboot without enabling it
/var/log/syslog:Aug 29 12:57:03 pc kernel: [    1.495174] nvme nvme0: Shutdown timeout set to 8 seconds
/var/log/syslog:Aug 29 12:57:14 pc systemd[636]: Reached target Shutdown.
/var/log/syslog:Aug 29 13:25:12 pc kernel: [    0.000000] secureboot: Secure boot could not be determined (mode 0)
/var/log/syslog:Aug 29 13:25:12 pc systemd[1]: Starting Update UTMP about System Boot/Shutdown...
/var/log/syslog:Aug 29 13:25:12 pc systemd[1]: Started Update UTMP about System Boot/Shutdown.
/var/log/syslog:Aug 29 13:25:12 pc systemd[1]: Starting Restore /etc/resolv.conf if the system crashed before the ppp link was shut down...
/var/log/syslog:Aug 29 13:25:12 pc kernel: [    1.522109] nvme nvme0: Shutdown timeout set to 8 seconds
/var/log/syslog:Aug 29 13:25:12 pc systemd[1]: Started Restore /etc/resolv.conf if the system crashed before the ppp link was shut down.
/var/log/syslog:Aug 29 13:25:12 pc cron[552]: (CRON) INFO (Running @reboot jobs)
Binary file /var/log/syslog matches
/var/log/user.log:Aug 29 11:33:07 pc geoclue[871]: Service not used for 60 seconds. Shutting down..
Binary file /var/log/user.log matches
Binary file /var/log/wtmp matches

Ниже 4 'умных' паСана мне уже очень многим помогли ;)

Решение:

1. Мною ранее был выключен ipv6 в /etc/sysctl.conf, включил и все стало на свои места. Надеюсь данное решение кому то будет полезно и сэкономит время.

2. Перед тем как перезагружать или выключать, делать logout а уже после перезагружать.

 , , ,

Hex-Value ()

Проверка директории монтирования

У меня raspberry pi и есть microsd c raspbian с которого загружается система и HDD на который я пишу логи. Я столкнулась с такой проблемой что иногда диск отваливается и логи начинают писаться на флешку в ту же директорию где был смонтирован HDD. Как можно запретить писать логи на флешку, а писать только когда диск смонтирован? Пишу логи очень часто и проверять смонтирован ли диск при каждой итерации возможности нет.

 , ,

BestLinuxoid777 ()

Просьба помочь с парсингом логов на Linux

Предыстория: Есть лог SMTP-шлюза системы, в который записывается информация о принимаемых SMTP-шлюзом сообщениях. Одна строка лога выглядит, как:

1. Время поступления сообщения (2018-08-27 13:12:47.011183500))

2. Объем принятого сообщения в байтах (23870 bytes)

3. От кого пришло сообщение (ip-адрес и адрес отправителя) (from 10.10.10.10 (sender <>))

4. На какой адрес пришло сообщение (адрес получателя) (to Journaling@test.local)

5. ID, который был присвоен сообщению (id norm-bee0f95a-a9e1-11e8-b31a-005056880582)

Задача 1: Получить количество сообщений, которое пришло с ip-адреса 10.10.10.10

Задача 2: Получить объем сообщений в Мб, которое пришло с ip-адреса 10.10.10.10

Результатом по обоим задачам должны быть команды Linux + плюс полученные значения.

----------- Пример лога приложил. --------------------------------------------------

2018-08-27 13:12:47.011183500 SMTP proxy received 23867 bytes of data from 10.10.10.10 (sender <>) to Journaling@test.local (id norm-bee0f95a-a9e1-11e8-b31a-005056880582)

2018-08-27 13:12:49.844212500 SMTP proxy received 23870 bytes of data from 10.10.10.10 (sender <>) to Journaling@test.local (id norm-c091728e-a9e1-11e8-adb1-005056880582)

2018-08-27 13:12:50.928585500 SMTP proxy received 23858 bytes of data from 10.10.10.10 (sender <>) to Journaling@test.local (id norm-c136b62c-a9e1-11e8-addf-005056880582)

2018-08-27 13:12:51.993576500 SMTP proxy received 23864 bytes of data from 10.10.10.10 (sender <>) to Journaling@test.local (id norm-c1d9ccb8-a9e1-11e8-ae34-005056880582)

2018-08-27 13:14:41.280304500 SMTP proxy received 30086 bytes of data from 10.10.10.10 (sender <>) to Journaling@test.local (id norm-02fdc898-a9e2-11e8-b5b6-005056880582)

2018-08-27 13:14:44.252948500 SMTP proxy received 29677 bytes of data from 10.10.10.10 (sender <>) to Journaling@test.local (id norm-04c36e8a-a9e2-11e8-ade2-005056880582)

2018-08-27 13:15:07.143560500 SMTP proxy received 1152 bytes of data from 10.10.10.11 (sender agent@host) to filter@host (id norm-12695f4a-a9e2-11e8-acad-005056880582)

2018-08-27 13:15:32.167600500 SMTP proxy received 1152 bytes of data from 10.10.10.11 (sender agent@host) to filter@host (id norm-2153b8ac-a9e2-11e8-8278-005056880582)

2018-08-27 13:16:42.680560500 SMTP proxy received 35207 bytes of data from 10.10.10.10 (sender <>) to Journaling@test.local (id norm-4b5aeb20-a9e2-11e8-8954-005056880582)

2018-08-27 13:16:42.691911500 SMTP proxy received 10147 bytes of data from 10.10.10.10 (sender <>) to Journaling@test.local (id norm-4b5cbfa4-a9e2-11e8-8adc-005056880582)

2018-08-27 13:16:53.910028500 SMTP proxy received 283348 bytes of data from 10.10.10.10 (sender <>) to Journaling@test.local (id norm-520a0582-a9e2-11e8-ad59-005056880582)

 , ,

Bosswik ()

nomad logs elk

есть кластер из 6 серверов, как правильно настроить логирование в elk? поделитесь пожалуйста вариантами, кто как делает

 , ,

Garcia ()

логи юзера

где в ubuntu можно посмотреть что делал юзер?
знаю про .bash_history
интересует ftp и sftp

 

kommersant ()

Samba4 не пишет логи

Здравствуйте. Не могу заставить самбу писать логи в CentOS 7. Пишет только в /var/log/samba/log.smbd о (ре)стартах сревиса. В конфиге:

syslog = 0
log file = /var/log/samba/log.%m
max log size = 2000
Сами логи:
# ls -lZ /var/log/ | grep samba
drwx------. root   root   system_u:object_r:samba_log_t    samba

# ls -lZ /var/log/samba/
drw-r--r--. root root system_u:object_r:samba_log_t    cores
-rw-r--r--. root root system_u:object_r:samba_log_t    log.10.1.0.119
-rw-r--r--. root root system_u:object_r:samba_log_t    log.10.10.2.6
-rw-r--r--. root root system_u:object_r:samba_log_t    log.10.10.2.64
-rw-r--r--. root root system_u:object_r:samba_log_t    log.smbd
drw-r--r--. root root system_u:object_r:samba_log_t    old

# ls -lh /var/log/samba/
total 4.0K
drw-r--r--. 3 root root  18 Jun  7 12:32 cores
-rw-r--r--. 1 root root   0 Jun  8 12:04 log.10.1.0.119
-rw-r--r--. 1 root root   0 Jun  8 11:18 log.10.10.2.6
-rw-r--r--. 1 root root   0 Jun  7 16:51 log.10.10.2.64
-rw-r--r--. 1 root root 616 Jun 11 12:52 log.smbd
drw-r--r--. 2 root root  31 Jun 10 03:23 old
ЧЯДНТ?

 , ,

Mant1kor ()

удалить все файлы кроме последних 70 - скрипт, как?

Приветствую!
есть у мну каталог, где копятся логфайлы с расширением .тхт

и копятся они там довольно стремительно - по 6 штук в час.

хотелось бы автоматом удалять все старые, оставляя последние ( свежайшие) 70 штук.
может случится так, что логфайлы создаватся прекратят, и в этом случае также хотелось бы, чтобы последние 70 штук сохранялись неопределённо долго не стираясь.

открыл один старый скрипт вида:

ls -t -r log_fileflow*.txt |head -n -10|xargs rm -rf 2>&1 /BackUp/backuprm.txt

но как то он несколько не так работает, как мне в данном случае хотелось бы...

у кого нибудь нет ли каких идей, что там и как поменять?
про своё днк я в курсе, да :D


 


 , , , ,

wisedraco ()

Разделить логгеры питона

Что имеем:
- stdout (консоль)
- файлы: logs/main.log, logs/parse.log, logs/comment.log
- разные уровни логирования (в зависимости от того как был запущен скрипт, с какими параметрами)
- пара «своих» логгеров: parse, comment
- все остальные логгеры - условно root - всё остально для чего предусмотрено логирование (т.е. например дебаг каких-нибудь инклудов стандартных)

Что я хочу сделать:
- все логгеры должны писать в stdout (например при консольном выполнении «python script.py»
- мои 2 должны дублировать в соответствующие файлы
- всё остальное должно дублироваться в 3й файл
- все файлы не должны содержать копии других логгеров

Прошу гурупитонов помочь разобраться.

Собственно я споткнулся об то, что если настроить logging.basicConfig(...) либо просто logging.getLogger() (т.е. без указания имени логгера), а потом еще 2 логгера (уже с указанием имени), то эти 2 логгера будут флудить в т.ч. туда же куда всё остальное.
Если обойтись без настройки basicConfig, использовать logging.getLogger('root'), например, тогда я теряю все прочие выводы (например вывод логгера git.Cmd).
Т.е. думалось получится задать логгер «по умолчанию» (в консоль и в main.log) но для своих 2х писать только в консоль и отдельный файл. Но по факту как только задаешь «по умолчанию» - оно коллекционирует все логгеры.

 , ,

ilmenshik ()

Hostapd настроить нормальное логгирование

Имеется Raspberry раздающий инет через hostapd. Сейчас смотрю логи через ssh, так: iw dev wlan0 station dump sudo cat dnsmasq.log | grep "мак адрес" cat daemon.log Все бы ничего, но возникла проблема. Чел подключается, в iw dev wlan0 station dump его мак видно, а вот в sudo cat dnsmasq.log | grep "мак адрес" пусто. То есть ойпишник ему не выдается. А почему, хз. Есть ли нормальные средства логирования для hostapd с более детальным и удобочитаемым выводом?

 , ,

Kaernk ()

Centos 7, нужна помощь по логам

Здравствуйте, нужна помощь может кто знает\подскажет. Есть кластер серверов, в принципе не особо важно можно хоть локальный комп, в общем, есть файл лога, допустим его содержание выглядит так по-строчно: 1 строчка в ней значение например 333 2 строчка в ней например ничего нет 3... в ней значение например 555 4... в ней значение например 23840 и т.д

каждый день в этом логе значения меняются, так вот собственно суть вопроса в том, как это можно мониторить желательно через веб интерфейс(чтобы удаленно) (пробовал zabbix, kibana, logstash и ещё много чего, может конечно недоразобрался, но в решении не помогло), на самом деле интересует возможность (как по мне так до невозможности простая) это, что-бы можно было той или иной программе или веб интерфейсу: указать данный лог > чтобы она(прога, вэб или что там) брала заданную ей строчку(одну) данного лога > по возможности записывала его в собственную базу(для истории) и самое главное показывала графический интерфейс, где было бы видны изменения за эннное количество дней. Заранее благодарен, сильно не пинайте ))

 , ,

The_Admin ()

Вопрос по loglevel

Эта опция ядра вообще выключает логирование или только выхлоп в консоль?

 ,

Deleted ()