LINUX.ORG.RU
ФорумAdmin

Зависает сервер

 ,


0

1

Появился еще один сервер который подвисает.
OS Debian 8 Linux 3.16.0-6-amd64
Диски в порядке, бад секторов нет.
В логах в момент зависание вот это:

May  5 08:19:14 mail kernel: [47880.340494] Call Trace:
May  5 08:19:14 mail kernel: [47880.340511]  [<ffffffffa01a98d5>] ? jbd2_log_wait_commit+0x95/0x100 [jbd2]
May  5 08:19:14 mail kernel: [47880.340515]  [<ffffffff810ae020>] ? prepare_to_wait_event+0xf0/0xf0
May  5 08:19:14 mail kernel: [47880.340522]  [<ffffffffa01c0943>] ? ext4_sync_file+0x2c3/0x360 [ext4]
May  5 08:19:14 mail kernel: [47880.340524]  [<ffffffff811e64dd>] ? do_fsync+0x4d/0x80
May  5 08:19:14 mail kernel: [47880.340526]  [<ffffffff811e676c>] ? SyS_fsync+0xc/0x10
May  5 08:19:14 mail kernel: [47880.340528]  [<ffffffff81539b9c>] ? system_call_fast_compare_end+0x1c/0x21
May  5 08:19:14 mail kernel: [48120.340089] INFO: task mysqld:7969 blocked for more than 120 seconds.
May  5 08:19:14 mail kernel: [48120.341815]       Tainted: G         C    3.16.0-6-amd64 #1
May  5 08:19:14 mail kernel: [48120.344485] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
May  5 08:19:14 mail kernel: [48120.345675] mysqld          D ffff8800d968c970     0  7969    730 0x00000000
May  5 08:19:14 mail kernel: [48120.345679]  ffff8800d968c970 0000000000000086 0000000000013fc0 ffff8802fbd3ffd8
May  5 08:19:14 mail kernel: [48120.345681]  0000000000013fc0 ffff8800d968c970 ffff8802fdffc800 0000000005ca3411
May  5 08:19:14 mail kernel: [48120.345683]  ffff8802fdffc888 ffff8802fdffc824 ffff8802fbd3fed0 ffff8802fdffc8a0
May  5 08:19:14 mail kernel: [48120.345685] Call Trace:
May  5 08:19:14 mail kernel: [48120.345705]  [<ffffffffa01a98d5>] ? jbd2_log_wait_commit+0x95/0x100 [jbd2]
May  5 08:19:14 mail kernel: [48120.345712]  [<ffffffff810ae020>] ? prepare_to_wait_event+0xf0/0xf0
May  5 08:19:14 mail kernel: [48120.345723]  [<ffffffffa01c0943>] ? ext4_sync_file+0x2c3/0x360 [ext4]
May  5 08:19:14 mail kernel: [48120.345727]  [<ffffffff811e64dd>] ? do_fsync+0x4d/0x80
May  5 08:19:14 mail kernel: [48120.345728]  [<ffffffff811e676c>] ? SyS_fsync+0xc/0x10
May  5 08:19:14 mail kernel: [48120.345732]  [<ffffffff81539b9c>] ? system_call_fast_compare_end+0x1c/0x21
May  5 08:19:14 mail kernel: [48120.345752] INFO: task mysqld:12265 blocked for more than 120 seconds.
May  5 08:19:14 mail kernel: [48120.346787]       Tainted: G         C    3.16.0-6-amd64 #1
May  5 08:19:14 mail kernel: [48120.347971] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
May  5 08:19:14 mail kernel: [48120.350430] mysqld          D ffff8802fc2cc1d0     0 12265   6901 0x00000000
May  5 08:19:14 mail kernel: [48120.350433]  ffff8802fc2cc1d0 0000000000000086 0000000000013fc0 ffff8802fa537fd8
May  5 08:19:14 mail kernel: [48120.350435]  0000000000013fc0 ffff8802fc2cc1d0 ffff8802fdffc800 0000000005ca3411
May  5 08:19:14 mail kernel: [48120.350437]  ffff8802fdffc888 ffff8802fdffc824 ffff8802fa537ed0 ffff8802fdffc8a0
May  5 08:19:14 mail kernel: [48120.350438] Call Trace:
May  5 08:19:14 mail kernel: [48120.350446]  [<ffffffffa01a98d5>] ? jbd2_log_wait_commit+0x95/0x100 [jbd2]
May  5 08:19:14 mail kernel: [48120.350449]  [<ffffffff810ae020>] ? prepare_to_wait_event+0xf0/0xf0
May  5 08:19:14 mail kernel: [48120.350454]  [<ffffffffa01c0943>] ? ext4_sync_file+0x2c3/0x360 [ext4]
May  5 08:19:15 mail kernel: [48120.350456]  [<ffffffff811e64dd>] ? do_fsync+0x4d/0x80
May  5 08:19:15 mail kernel: [48120.350458]  [<ffffffff811e676c>] ? SyS_fsync+0xc/0x10
May  5 08:19:15 mail kernel: [48120.350460]  [<ffffffff81539b9c>] ? system_call_fast_compare_end+0x1c/0x21
May  5 08:19:15 mail kernel: [48120.350535] INFO: task quotasync:16765 blocked for more than 120 seconds.
May  5 08:19:15 mail kernel: [48120.363904]       Tainted: G         C    3.16.0-6-amd64 #1
May  5 08:19:15 mail kernel: [48120.376562] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
May  5 08:19:15 mail kernel: [48120.395420] quotasync       D ffff8800daee2c70     0 16765  16764 0x00000000
May  5 08:19:15 mail kernel: [48120.395423]  ffff8800daee2c70 0000000000000086 0000000000013fc0 ffff880119483fd8
May  5 08:19:15 mail kernel: [48120.395425]  0000000000013fc0 ffff8800daee2c70 ffff8802fdffc800 0000000005ca3411
May  5 08:19:15 mail kernel: [48120.395446]  ffff8802fdffc888 ffff8802fdffc824 ffff880119483e48 ffff8802fdffc8a0
May  5 08:19:15 mail kernel: [48120.395448] Call Trace:
May  5 08:19:15 mail kernel: [48120.395458]  [<ffffffffa01a98d5>] ? jbd2_log_wait_commit+0x95/0x100 [jbd2]
May  5 08:19:15 mail kernel: [48120.395461]  [<ffffffff810ae020>] ? prepare_to_wait_event+0xf0/0xf0
May  5 08:19:15 mail kernel: [48120.395468]  [<ffffffffa01d88db>] ? ext4_sync_fs+0x9b/0x190 [ext4]
May  5 08:19:15 mail kernel: [48120.399407]  [<ffffffff81212b6e>] ? dquot_quota_sync+0x3e/0x130
May  5 08:19:15 mail kernel: [48120.403441]  [<ffffffff81215dd2>] ? SyS_quotactl+0x352/0x730
May  5 08:19:15 mail kernel: [48120.403444]  [<ffffffff81539b9c>] ? system_call_fast_compare_end+0x1c/0x21
Есть мысли?

Сразу скажу, что данный сервер на KVM. RAID массив на котором все это дело крутится сильно нагруженный, периодически активность взлетает до 100%

iliaxxx ()

Это не зависание, а просто варнинг ядра на тему того, что у процесса mysqld системный вызов больше 120 секунд занял. Стек-трейс показывает, что тормозит на операциях связанных с фс (синхронизация данных с носителем. Насколько тормозит - вопросы к твоему сторедж бэкенду и тому, кто его так нагрузил.

ncrmnt ★★★★★ ()
Ответ на: комментарий от ncrmnt

Там на этом массиве крутится еще 5 виртуалок. Вот они и подгружают систему. Важно то что это приводит к зависанию этого сервера. Это неправильно. Как то неправильно от того что при нагрузке на диски, сервер наглухо виснет. На это массиве 6 серверов, но виснет только этот.

iliaxxx ()

Набери в гугле:

task mysqld blocked for more than 120 seconds

там эта тема много раз поднималась

vinvlad ()
Ответ на: комментарий от iliaxxx

Еще раз говорю, в dmesg у тебя просто предупреждение что процесс надолго заблочился на операции фс, это не причина зависания. Может у тебя там память кончилась и он попутно свопился что есть сил?

ncrmnt ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.