LINUX.ORG.RU
ФорумAdmin

MySQL сервер падает в одно и тоже время

 , ,


0

1

Есть mysql сервер с одной единственной базой для сайта на drupal 7. Суть проблемы в том, что начиная с 20 чисел этого месяца, около 9 часов утра InnoDB пытается завершить транзакции:

InnoDB: 379 transaction(s) which must be rolled back or cleaned up
, а потом падает весь mysql сервер после строк в логе:
InnoDB: Progress in percents: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 1002018-03-25  8:50:40 139705236580096 [Note] InnoDB: Rollback of trx with id 5052001327 completed
2018-03-25  8:50:40 139705236580096 [Note] InnoDB: Rollback of non-prepared transactions completed
2018-03-25  8:51:13 139705236580096 [Note] InnoDB: Dumping buffer pool(s) not yet started
2018-03-25  8:51:13 139811765056064 [Note] Plugin 'FEEDBACK' is disabled.
2018-03-25  8:51:13 139811765056064 [Note] Recovering after a crash using tc.log
2018-03-25  8:51:13 139811765056064 [Note] Starting crash recovery...
2018-03-25  8:51:13 139811765056064 [Note] Crash recovery finished.
2018-03-25  8:51:13 139811765056064 [Note] Server socket created on IP: '127.0.0.1'.
2018-03-25  8:51:13 139811764549376 [Note] /usr/sbin/mysqld: Normal shutdown
И этим строчкам предшедствуют такие (их реально много):

2018-03-25 08:49:16 7f0fa8ffe700  InnoDB: Rolling back trx with id 5054068002, 1 rows to undo
2018-03-25  8:49:16 139705236580096 [Note] InnoDB: Rollback of trx with id 5054068002 completed
2018-03-25 08:49:16 7f0fa8ffe700  InnoDB: Rolling back trx with id 5054065546, 1 rows to undo
2018-03-25  8:49:16 139705236580096 [Note] InnoDB: Rollback of trx with id 5054065546 completed
2018-03-25 08:49:16 7f0fa8ffe700  InnoDB: Rolling back trx with id 5054063879, 1 rows to undo
2018-03-25  8:49:16 139705236580096 [Note] InnoDB: Rollback of trx with id 5054063879 completed
2018-03-25 08:49:16 7f0fa8ffe700  InnoDB: Rolling back trx with id 5054061051, 1 rows to undo
2018-03-25  8:49:16 139705236580096 [Note] InnoDB: Rollback of trx with id 5054061051 completed

Нашёл в гугле что это может быть повреждена база, но прогнал все таблицы базы с помощью mysqlcheck и он на каждой таблице выдал «OK».

Сам конфиг сервера mysql:

#
# These groups are read by MariaDB server.
# Use it for options that only the server (but not clients) should see
#
# See the examples of server my.cnf files in /usr/share/mysql/
#

# this is read by the standalone daemon and embedded servers
[server]

# this is only for the mysqld standalone daemon
[mysqld]

#
# * Basic Settings
#
user		= mysql
pid-file	= /var/run/mysqld/mysqld.pid
socket		= /var/run/mysqld/mysqld.sock
port		= 3306
basedir		= /usr
datadir		= /var/lib/mysql
tmpdir		= /tmp
lc-messages-dir	= /usr/share/mysql
skip-external-locking
skip-name-resolve=1
	
# Instead of skip-networking the default is now to listen only on
# localhost which is more compatible and is not less secure.
bind-address		= 127.0.0.1

#
# * Fine Tuning
#
key_buffer_size		= 4G
max_allowed_packet	= 128M
thread_stack		= 256K
thread_cache_size       = 108
# This replaces the startup script and checks MyISAM tables if needed
# the first time they are touched
myisam_recover_options  = BACKUP
max_connections         = 10000
innodb_thread_concurrency = 0
table_open_cache        = 8192
innodb_buffer_pool_size = 80G
innodb_buffer_pool_instances = 64
#
# * Query Cache Configuration
#
query_cache_limit	= 64M
query_cache_size        = 8G

#
# * Logging and Replication
#
# Both location gets rotated by the cronjob.
# Be aware that this log type is a performance killer.
# As of 5.1 you can enable the log at runtime!
#general_log_file        = /var/log/mysql/mysql.log
#general_log             = 1
#
# Error log - should be very few entries.
#
log_error = /var/log/mysql/error.log
#
# Enable the slow query log to see queries with especially long duration
#slow_query_log_file	= /var/log/mysql/mariadb-slow.log
#long_query_time = 10
#log_slow_rate_limit	= 1000
#log_slow_verbosity	= query_plan
#log-queries-not-using-indexes
#
# The following can be used as easy to replay backup logs or for replication.
# note: if you are setting up a replication slave, see README.Debian about
#       other settings you may need to change.
#server-id		= 1
#log_bin			= /var/log/mysql/mysql-bin.log
expire_logs_days	= 10
max_binlog_size   = 100M
#binlog_do_db		= include_database_name
#binlog_ignore_db	= exclude_database_name

#
# * InnoDB
#
# InnoDB is enabled by default with a 10MB datafile in /var/lib/mysql/.
# Read the manual for more InnoDB related options. There are many!

#
# * Security Features
#
# Read the manual, too, if you want chroot!
# chroot = /var/lib/mysql/
#
# For generating SSL certificates you can use for example the GUI tool "tinyca".
#
# ssl-ca=/etc/mysql/cacert.pem
# ssl-cert=/etc/mysql/server-cert.pem
# ssl-key=/etc/mysql/server-key.pem
#
# Accept only connections using the latest and most secure TLS protocol version.
# ..when MariaDB is compiled with OpenSSL:
# ssl-cipher=TLSv1.2
# ..when MariaDB is compiled with YaSSL (default in Debian):
# ssl=on

#
# * Character sets
#
# MySQL/MariaDB default is Latin1, but in Debian we rather default to the full
# utf8 4-byte character set. See also client.cnf
#
character-set-server  = utf8mb4
collation-server      = utf8mb4_general_ci

#
# * Unix socket authentication plugin is built-in since 10.0.22-6
#
# Needed so the root database user can authenticate without a password but
# only when running as the unix root user.
#
# Also available for other users if required.
# See https://mariadb.com/kb/en/unix_socket-authentication-plugin/

# this is only for embedded server
[embedded]

# This group is only read by MariaDB servers, not by MySQL.
# If you use the same .cnf file for MySQL and MariaDB,
# you can put MariaDB-only options here
[mariadb]

# This group is only read by MariaDB-10.1 servers.
# If you use the same .cnf file for MariaDB of different versions,
# use this group for options that older servers don't understand
[mariadb-10.1]

То, что ты показал - это восстановление после падения (а не сама причина падения базы). Поэтому ищи причину дальше. Dmesg, journalctl и т.д

anonymous ()
Ответ на: комментарий от anonymous

В dmesg последняя запись по mysqld: Out of memory: Kill process 53199 (mysqld) score 239 or sacrifice child

Но как mysqld может сыпаться от out of memory если памяти в избытке?

FluffyPillow ()
Ответ на: комментарий от FluffyPillow

Это её физически в избытке. А что там у тебя наконфижено и когда к мускулю киллер приходит — неизвестно.

deep-purple ★★★★★ ()
Ответ на: комментарий от FluffyPillow

ну вот и причина - oom killer. В избытке это сколько? innodb_buffer_pool_size = 80G Т.е 80G это должно быть примерно 70% от общей памяти. Для нормальной работы. Но есть ньансы. Возможно именно в этом время прилетает огромное кол-во соединений с запросами, который сами по себе еще выжирают памяти. Метрики-то собираешь? Графики использования памяти рисуешь? Тогда было б все примерно ясно. Еще демон atop не помешает запустить.

anonymous ()
Ответ на: комментарий от anonymous

На сервере 128ГБ памяти. Сейчас убавил innodb_buffer_pool_size до 56ГБ и урезал максимально возможное количество соединений до 5000.

atop установил, демон запустился, но как его использовать? Никогда раньше не работал с ним.

FluffyPillow ()
Ответ на: комментарий от FluffyPillow

урезал максимально возможное количество соединений до 5000.

5000 одновременных соединений к мусклю - это очень много.

Посмотри mysqltuner и tuning primer, немного подскажут.

Deleted ()
Ответ на: комментарий от FluffyPillow

еще можешь сказать oomkiller'у чтобы поискал чего другого убить, чтобы память освободить: echo '-20' > /proc/$(pidof mysqld)/oom_score_adj

anonymous ()
Ответ на: комментарий от FluffyPillow

Если память фрагментирована сильно, то OOM придёт когда свободный блок подходящего размера не найдёт.

Dark_SavanT ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.