Начал виснуть сервер Debian после старта задания rsync

0

1

Добрый день ув. форумчане. Такая ситуация: Начал виснуть сервер Debian после старта задания rsync. В 0:00 стартует скрипт бэкапа файловой шары с помощью rsync. Утром сервер пингуется, но ни на шару ни по ssh не зайти. Используется программный RAID mdadm. Бэкап делается на локально подключенный диск, не в сеть.

Предистория: Пользователь поймал шифровальщика в конце рабочего дня. Заметили на следующее утро. По шифровалась одна папка в шаре. Ночью сделался бэкап. Rsync у нас работает по принципу «машина времени» Есть первый бэкап полный и с ним rsync сверяет изменения и бэкапит только то что с изменениями. Соответственно ночной бэкап с шифрованными файлами был. Удалили этот снимок ночной. Переделали симлинк на предыдущий нормальный снимок. И в следующую ночь сервер стал виснуть. Появляется папка нового бэкапа, подкаталоги и в самой верхней по иерархии директории есть какие то файлы. Но остальное пусто. 3 раза запускался ночной бэкап после этого и файлов каждый раз по разному в снимке, то больше то меньше.

Резюме: Так глубоко я еще не успел изучить систему Linux. Куда можно поглядеть для более точной информации по моей проблеме не знаю, все логи уже переглядел. Но пока не нашел причину зависания. Подскажите пожалуйста что можно попробовать, чтобы выявить причину. Если указал не все данные, подскажите какие выводы еще показать, для более детального изучения.

Заранее спасибо.

Система:

root@srvfs2:/# uname -a
Linux srvfs2 3.16.0-4-686-pae #1 SMP Debian 3.16.7-ckt25-2 (2016-04-08) i686 GNU/Linux

Файловые системы:

root@srvfs2:/# df -h
Файловая система                    Размер Использовано  Дост Использовано% Cмонтировано в
/dev/sde1                             132G          79G   47G           63% /
udev                                   10M            0   10M            0% /dev
tmpfs                                 3,2G          93M  3,1G            3% /run
tmpfs                                 8,0G            0  8,0G            0% /dev/shm
tmpfs                                 5,0M            0  5,0M            0% /run/lock
tmpfs                                 8,0G            0  8,0G            0% /sys/fs/cgroup
/dev/md2p1                            908G         715G  184G           80% /mnt/docfs
/dev/md2p2                            1,8T         1,1T  625G           65% /mnt/archfs

Состояние mdadm:

root@srvfs2:/# cat /proc/mdstat 
Personalities : [raid1] [raid0] 
md2 : active raid0 md0[0] md1[1]
      2929141760 blocks super 1.2 512k chunks
      
md1 : active raid1 sdb[2] sda[3]
      1952983040 blocks super 1.2 [2/2] [UU]
      bitmap: 0/8 pages [0KB], 131072KB chunk

md0 : active raid1 sdd[3] sdc[2]
      1952983040 blocks super 1.2 [2/2] [UU]
      bitmap: 0/15 pages [0KB], 65536KB chunk

unused devices: <none>

root@srvfs2:/# mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Tue Oct  6 16:05:02 2015
     Raid Level : raid1
     Array Size : 1952983040 (1862.51 GiB 1999.85 GB)
  Used Dev Size : 1952983040 (1862.51 GiB 1999.85 GB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

  Intent Bitmap : Internal

    Update Time : Wed Oct 16 13:07:32 2019
          State : clean 
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

           Name : srvfs1:md0
           UUID : 92d3ca47:b3e0f6e5:0332d797:433b9e4a
         Events : 202117

    Number   Major   Minor   RaidDevice State
       3       8       48        0      active sync   /dev/sdd
       2       8       32        1      active sync   /dev/sdc

root@srvfs2:/# mdadm --detail /dev/md1
/dev/md1:
        Version : 1.2
  Creation Time : Tue Oct  6 16:05:18 2015
     Raid Level : raid1
     Array Size : 1952983040 (1862.51 GiB 1999.85 GB)
  Used Dev Size : 1952983040 (1862.51 GiB 1999.85 GB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

  Intent Bitmap : Internal

    Update Time : Wed Oct 16 13:08:04 2019
          State : clean 
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

           Name : srvfs1:md1
           UUID : 8ef80f43:c9ce5990:282b7106:521f24b5
         Events : 206190

    Number   Major   Minor   RaidDevice State
       2       8       16        0      active sync   /dev/sdb
       3       8        0        1      active sync   /dev/sda

root@srvfs2:/# mdadm --detail /dev/md2
/dev/md2:
        Version : 1.2
  Creation Time : Tue Oct  6 16:09:34 2015
     Raid Level : raid0
     Array Size : 2929141760 (2793.45 GiB 2999.44 GB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

    Update Time : Tue Oct  6 16:09:34 2015
          State : clean 
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

     Chunk Size : 512K

           Name : srvfs1:md2
           UUID : feb5ef06:2e859b5f:4ac63db7:50962fe1
         Events : 0

    Number   Major   Minor   RaidDevice State
       0       9        0        0      active sync   /dev/md/md0
       1       9        1        1      active sync   /dev/md/md1

root@srvfs2:/# mdadm --detail /dev/md2p1
/dev/md2p1:
        Version : 1.2
  Creation Time : Tue Oct  6 16:09:34 2015
     Raid Level : raid0
     Array Size : 966616064 (921.84 GiB 989.81 GB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

    Update Time : Tue Oct  6 16:09:34 2015
          State : clean 
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

     Chunk Size : 512K

           Name : srvfs1:md2
           UUID : feb5ef06:2e859b5f:4ac63db7:50962fe1
         Events : 0

    Number   Major   Minor   RaidDevice State
       0       9        0        0      active sync   /dev/md/md0
       1       9        1        1      active sync   /dev/md/md1

root@srvfs2:/# mdadm --detail /dev/md2p2
/dev/md2p2:
        Version : 1.2
  Creation Time : Tue Oct  6 16:09:34 2015
     Raid Level : raid0
     Array Size : 1962523648 (1871.61 GiB 2009.62 GB)
   Raid Devices : 2
  Total Devices : 2
    Persistence : Superblock is persistent

    Update Time : Tue Oct  6 16:09:34 2015
          State : clean 
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0

     Chunk Size : 512K

           Name : srvfs1:md2
           UUID : feb5ef06:2e859b5f:4ac63db7:50962fe1
         Events : 0

    Number   Major   Minor   RaidDevice State
       0       9        0        0      active sync   /dev/md/md0
       1       9        1        1      active sync   /dev/md/md1

kern.log (кусочек из этого лога, остальные сообщения очень похожи Sep 18 01:22:45 srvfs2 kernel: [64257.109379] NMI backtrace for cpu…. и так далее. :

Sep 18 01:22:45 srvfs2 kernel: [64257.109379] NMI backtrace for cpu 0
Sep 18 01:22:45 srvfs2 kernel: [64257.109381] CPU: 0 PID: 7938 Comm: rsync Not tainted 3.16.0-4-686-pae #1 Debian 3.16.7-ckt25-2
Sep 18 01:22:45 srvfs2 kernel: [64257.109466] Hardware name: Intel Corporation S3420GP/S3420GP, BIOS S3420GP.86B.01.00.0047.111620101731 11/16/2010
Sep 18 01:22:45 srvfs2 kernel: [64257.109555] task: ecac5ab0 ti: d3210000 task.ti: d3210000
Sep 18 01:22:45 srvfs2 kernel: [64257.109603] EIP: 0060:[<c125ae5c>] EFLAGS: 00000807 CPU: 0
Sep 18 01:22:45 srvfs2 kernel: [64257.109606] EIP is at delay_tsc+0x1c/0x70
Sep 18 01:22:45 srvfs2 kernel: [64257.109608] EAX: 398adc24 EBX: 0024538e ECX: fffff000 EDX: 00008c4c
Sep 18 01:22:45 srvfs2 kernel: [64257.109610] ESI: c1614f80 EDI: 00000000 EBP: ed009e5c ESP: ed009e50
Sep 18 01:22:45 srvfs2 kernel: [64257.109611]  DS: 007b ES: 007b FS: 00d8 GS: 00e0 SS: 0068
Sep 18 01:22:45 srvfs2 kernel: [64257.109613] CR0: 80050033 CR2: b867c000 CR3: 188db000 CR4: 000007f0
Sep 18 01:22:45 srvfs2 kernel: [64257.109613] Stack:
Sep 18 01:22:45 srvfs2 kernel: [64257.109650]  00002710 c1614f80 f757e620 ed009e74 c125add8 c104038a c1548401 c157a0ce
Sep 18 01:22:45 srvfs2 kernel: [64257.109653]  c1614f80 ed009ebc c10ac95d c1557924 0000520b 00199cbc 00199cbb 0000056f
Sep 18 01:22:45 srvfs2 kernel: [64257.109656]  00000000 ed009ebc c1084790 00000001 c166a5ec c1614f80 f757e620 00000000
Sep 18 01:22:45 srvfs2 kernel: [64257.109659] Call Trace:
Sep 18 01:22:45 srvfs2 kernel: [64257.109698]  [<c125add8>] ? __const_udelay+0x18/0x20
Sep 18 01:22:45 srvfs2 kernel: [64257.109701]  [<c104038a>] ? arch_trigger_all_cpu_backtrace+0x9a/0xd0
Sep 18 01:22:45 srvfs2 kernel: [64257.109706]  [<c10ac95d>] ? rcu_check_callbacks+0x38d/0x5b0
Sep 18 01:22:45 srvfs2 kernel: [64257.109710]  [<c1084790>] ? account_process_tick+0x60/0x130
Sep 18 01:22:45 srvfs2 kernel: [64257.109714]  [<c1062dac>] ? update_process_times+0x3c/0x60
Sep 18 01:22:45 srvfs2 kernel: [64257.109718]  [<c10b78e6>] ? tick_sched_handle.isra.13+0x26/0x60
Sep 18 01:22:45 srvfs2 kernel: [64257.109720]  [<c10b7957>] ? tick_sched_timer+0x37/0x70
Sep 18 01:22:45 srvfs2 kernel: [64257.109723]  [<c1075db8>] ? __remove_hrtimer+0x38/0x90
Sep 18 01:22:45 srvfs2 kernel: [64257.109725]  [<c10766cd>] ? __run_hrtimer+0x6d/0x190
Sep 18 01:22:45 srvfs2 kernel: [64257.109727]  [<c10b7920>] ? tick_sched_handle.isra.13+0x60/0x60
Sep 18 01:22:45 srvfs2 kernel: [64257.109729]  [<c1076e48>] ? hrtimer_interrupt+0x1e8/0x2a0
Sep 18 01:22:45 srvfs2 kernel: [64257.109732]  [<c132b0fc>] ? credit_entropy_bits+0x22c/0x2a0
Sep 18 01:22:45 srvfs2 kernel: [64257.109735]  [<c1048195>] ? hpet_interrupt_handler+0x15/0x40
Sep 18 01:22:45 srvfs2 kernel: [64257.109739]  [<c10a3685>] ? handle_irq_event_percpu+0x35/0x180
Sep 18 01:22:45 srvfs2 kernel: [64257.109740]  [<c10a5bd0>] ? handle_simple_irq+0x70/0x70
Sep 18 01:22:45 srvfs2 kernel: [64257.109743]  [<c147fc27>] ? nmi_stack_correct+0x2f/0x34
Sep 18 01:22:45 srvfs2 kernel: [64257.109746]  [<c10a37fa>] ? handle_irq_event+0x2a/0x50
Sep 18 01:22:45 srvfs2 kernel: [64257.109748]  [<c10a5bd0>] ? handle_simple_irq+0x70/0x70
Sep 18 01:22:45 srvfs2 kernel: [64257.109750]  [<c10a5c36>] ? handle_edge_irq+0x66/0x100
Sep 18 01:22:45 srvfs2 kernel: [64257.109752]  [<c1011751>] ? handle_irq+0x71/0x90
Sep 18 01:22:45 srvfs2 kernel: [64257.109753]  <IRQ> 
Sep 18 01:22:45 srvfs2 kernel: [64257.109760]  [<c147fd7c>] ? do_IRQ+0x3c/0xd0
Sep 18 01:22:45 srvfs2 kernel: [64257.109800]  [<c147f2b3>] ? common_interrupt+0x33/0x38
Sep 18 01:22:45 srvfs2 kernel: [64257.109805]  [<f7f686d7>] ? mb_cache_entry_get+0x57/0x1c0 [mbcache]
Sep 18 01:22:45 srvfs2 kernel: [64257.109808]  [<c11983b0>] ? __getblk_gfp+0x30/0x60
Sep 18 01:22:45 srvfs2 kernel: [64257.109816]  [<f819a0a0>] ? ext4_xattr_block_set+0x70/0xa20 [ext4]
Sep 18 01:22:45 srvfs2 kernel: [64257.109824]  [<f8199cba>] ? ext4_xattr_block_find.isra.7+0x16a/0x1f0 [ext4]
Sep 18 01:22:45 srvfs2 kernel: [64257.109832]  [<f8199700>] ? ext4_xattr_set_entry+0x20/0x2e0 [ext4]
Sep 18 01:22:45 srvfs2 kernel: [64257.109840]  [<f819b34e>] ? ext4_xattr_set_handle+0x13e/0x390 [ext4]
Sep 18 01:22:45 srvfs2 kernel: [64257.109848]  [<f819b677>] ? ext4_xattr_set+0xd7/0x110 [ext4]
Sep 18 01:22:45 srvfs2 kernel: [64257.109851]  [<c118b813>] ? generic_setxattr+0x53/0x70
Sep 18 01:22:45 srvfs2 kernel: [64257.109853]  [<c118b7c0>] ? generic_listxattr+0xe0/0xe0
Sep 18 01:22:45 srvfs2 kernel: [64257.109855]  [<c118bf69>] ? __vfs_setxattr_noperm+0x59/0x1a0
Sep 18 01:22:45 srvfs2 kernel: [64257.109857]  [<c11e2091>] ? cap_inode_setxattr+0x41/0x60
Sep 18 01:22:45 srvfs2 kernel: [64257.109858]  [<c118b7c0>] ? generic_listxattr+0xe0/0xe0
Sep 18 01:22:45 srvfs2 kernel: [64257.109860]  [<c118c139>] ? vfs_setxattr+0x89/0x90
Sep 18 01:22:45 srvfs2 kernel: [64257.109862]  [<c118c22c>] ? setxattr+0xec/0x180
Sep 18 01:22:45 srvfs2 kernel: [64257.109864]  [<c11767c7>] ? path_lookupat+0x67/0x660
Sep 18 01:22:45 srvfs2 kernel: [64257.109866]  [<c1175a5f>] ? getname_flags+0x3f/0x140
Sep 18 01:22:45 srvfs2 kernel: [64257.109868]  [<c1176de5>] ? filename_lookup+0x25/0xb0
Sep 18 01:22:45 srvfs2 kernel: [64257.109870]  [<c117a799>] ? user_path_at_empty+0x49/0x70
Sep 18 01:22:45 srvfs2 kernel: [64257.109872]  [<c117a799>] ? user_path_at_empty+0x49/0x70
Sep 18 01:22:45 srvfs2 kernel: [64257.109874]  [<c116e517>] ? __sb_start_write+0x47/0xd0
Sep 18 01:22:45 srvfs2 kernel: [64257.109883]  [<f819aa50>] ? ext4_xattr_block_set+0xa20/0xa20 [ext4]
Sep 18 01:22:45 srvfs2 kernel: [64257.109885]  [<c118c53b>] ? SyS_lsetxattr+0x8b/0xd0

Ссылка

inod-ов то хватает? (df -i)

хотя по log-у больше похоже на аппаратную ошибку

anonymous
(16.10.19 17:24:12 MSK)

Ответ на: комментарий от anonymous 16.10.19 17:24:12 MSK

Судя по выводу я думаю да. Но это во время спокойной работы. Сегодня вечером попробую после старта бэкапа поглядеть этот вывод.

root@srvfs2:~# df -i
Файловая система                       Iнодов IИспользовано IСвободно IИспользовано% Cмонтировано в
/dev/sde1                             8790016         44253   8745763             1% /
udev                                   184916           406    184510             1% /dev
tmpfs                                  188742           608    188134             1% /run
tmpfs                                  188742             1    188741             1% /dev/shm
tmpfs                                  188742             5    188737             1% /run/lock
tmpfs                                  188742            13    188729             1% /sys/fs/cgroup
/dev/md2p1                           60416000       1083860  59332140             2% /mnt/docfs
/dev/md2p2                          122658816       9989784 112669032             9% /mnt/archfs

qinside
(17.10.19 08:01:57 MSK) автор топика

Похожие темы