LINUX.ORG.RU

[NFS][logging] performance problems

 ,


0

0

Всем привет. Не совсем уверен что надо сюда писать, возможно стоило создать тему в Admin, но начну отсюда.

Попробую объяснить ситуацию...

Есть хост, назовем его NFS server, на нем шарится каталог, на другом хосте, обзавем его NFS client, этот каталог примонтирован, и определенный процесс с остервинением пишет лог в файл, который расположен в примонтированном по nfs каталоге... так пишет, что процессор на NFS client`е, по заявлениям кастомера, грузится так сильно, что их аппликейшен не может сделать даже video call (проблема не в том что не хватает пропускной способности для видео, потому как видео идет по другому интерфейсу, проблема именно с cpu).

при этом, на NFS server загрузка процессора минимальна... могу кусочек top`а предоставить:

top - 06:45:28 up 8 days, 21:23,  5 users,  load average: 0.61, 0.52, 0.48
Tasks: 117 total,   1 running, 116 sleeping,   0 stopped,   0 zombie
Cpu(s):  1.0%us,  2.0%sy,  0.0%ni, 66.3%id, 29.7%wa,  0.0%hi,  1.0%si,  0.0%st
Mem:   2075588k total,  2019392k used,    56196k free,    67116k buffers
Swap:        0k total,        0k used,        0k free,  1725844k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND            
 4663 root      15   0     0    0    0 D  1.0  0.0   2:08.28 nfsd               
 4668 root      15   0     0    0    0 S  1.0  0.0   2:00.14 nfsd               
    1 root      16   0   720  284  248 S  0.0  0.0   0:01.63 init               
    2 root      RT   0     0    0    0 S  0.0  0.0   0:00.00 migration/0        
    3 root      34  19     0    0    0 S  0.0  0.0   0:00.00 ksoftirqd/0        
    4 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 events/0           
    5 root      10  -5     0    0    0 S  0.0  0.0   0:01.53 khelper            
    6 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 kthread            
    8 root      10  -5     0    0    0 S  0.0  0.0   0:00.51 kblockd/0          
    9 root      20  -5     0    0    0 S  0.0  0.0   0:00.00 kacpid             
  165 root      16   0     0    0    0 S  0.0  0.0   0:07.40 pdflush            
  166 root      15   0     0    0    0 S  0.0  0.0   0:02.16 kswapd0            
  167 root      15  -5     0    0    0 S  0.0  0.0   0:00.00 aio/0              
  372 root      11  -5     0    0    0 S  0.0  0.0   0:00.00 cqueue/0           
  373 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 kseriod            
  413 root      11  -5     0    0    0 S  0.0  0.0   0:00.00 kpsmoused          
  801 root      11  -5     0    0    0 S  0.0  0.0   0:00.00 scsi_eh_0          
  884 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 reiserfs/0         
  949 root      13  -4  1872  676  436 S  0.0  0.0   0:00.38 udevd              
 1466 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 khubd              
 1549 root      20   0     0    0    0 S  0.0  0.0   0:00.00 shpchpd_event      
 1739 root      11  -5     0    0    0 S  0.0  0.0   0:00.00 ata/0              
 1740 root      11  -5     0    0    0 S  0.0  0.0   0:00.00 ata_aux            
 1760 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 scsi_eh_1          
 1762 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 scsi_eh_2          
 1764 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 scsi_eh_3          
 1765 root      10  -5     0    0    0 S  0.0  0.0   0:00.00 scsi_eh_4          
 2282 messageb  16   0  3428  912  712 S  0.0  0.0   0:00.00 dbus-daemon        
 2306 root      16   0  1524  436  380 S  0.0  0.0   0:00.20 pipdaemon          
 2328 root      24   0  1616  308  220 S  0.0  0.0   0:00.00 resmgrd            
 2338 root      16   0  4204 2712 1416 S  0.0  0.1   0:00.30 hald               

%wa в среднем от 15 до 30, но выше 35 не поднимается...

и отсюда резонный вопрос, какого фига? :) где может быть узкое место? может быть проблемы на NFS client, и он сам не справляется с записью?

Всем зарание благодарен.

Ответ на: комментарий от Alex_5252

вот как-то так:

top - 17:52:56 up 4 days,  4:06,  1 user,  load average: 1.91, 0.97, 0.42
Tasks:  65 total,   1 running,  64 sleeping,   0 stopped,   0 zombie
Cpu(s): 36.1% us, 62.7% sy,  0.0% ni,  0.0% id,  0.0% wa,  0.6% hi,  0.6% si
Mem:   2076068k total,  1201960k used,   874108k free,     5740k buffers
Swap:        0k total,        0k used,        0k free,   614196k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                       
32222 root      15   0  622m 206m  24m S 98.7 10.2   2:21.79 loader                                                                        
 1841 root      15   0  1668  520  416 S  1.2  0.0  13:39.35 gvrpd                                                                         
 1473 root      15   0     0    0    0 S  0.2  0.0   0:06.60 rpciod                                                                        
    1 root      16   0   588  248  208 S  0.0  0.0   0:05.78 init                                                                          
    2 root      34  19     0    0    0 S  0.0  0.0   0:00.00 ksoftirqd/0                                                                   
    3 root       5 -10     0    0    0 S  0.0  0.0   0:00.00 events/0                                                                      
    4 root       5 -10     0    0    0 S  0.0  0.0   0:00.00 khelper                                                                       
    5 root       9 -10     0    0    0 S  0.0  0.0   0:00.00 kblockd/0                                                                     
   68 root      20   0     0    0    0 S  0.0  0.0   0:00.00 pdflush                                                                       
   69 root      15   0     0    0    0 S  0.0  0.0   0:00.00 pdflush                                                                       
   71 root       6 -10     0    0    0 S  0.0  0.0   0:00.00 aio/0                                                                         
   70 root      25   0     0    0    0 S  0.0  0.0   0:00.00 kswapd0                                                                       
 1384 root      25   0     0    0    0 S  0.0  0.0   0:00.00 kseriod                                                                       
 1776 root      16   0  1552  700  592 S  0.0  0.0   0:01.11 syslogd                                                                       
 1780 root      16   0  1536  596  404 S  0.0  0.0   0:01.32 klogd                                                                         
 1814 root      20   0  1420  472  408 S  0.0  0.0   0:00.00 resmgrd                                                                       
 1861 ntp       15   0  3624 3624 2720 S  0.0  0.2   0:00.02 ntpd                                                                          
 2157 root      16   0  4668 1872 1564 S  0.0  0.1   0:00.14 sshd                                                                          
 2175 root      16   0  1604  712  608 S  0.0  0.0   0:00.16 cron                                                                          
 2179 root      18   0  1588  636  544 S  0.0  0.0   0:00.00 mingetty                                                                      
 2180 root      18   0  1588  636  544 S  0.0  0.0   0:00.00 mingetty                                                                      
 2181 root      15   0  1396  444  384 S  0.0  0.0   0:00.00 agetty                                                                        
 3933 root      16   0  1400  352  288 S  0.0  0.0   0:00.00 runsvdir                                                                      
 3934 root      16   0  1252  284  240 S  0.0  0.0   0:00.00 runsv                                                                         
 3935 root      15   0  1252  284  240 S  0.0  0.0   0:00.03 runsv                                                                         
 3936 root      15   0  1252  288  244 S  0.0  0.0   0:04.20 runsv                                                                         
 3937 root      15   0  1252  284  240 S  0.0  0.0   0:04.40 runsv                                                                         

Cy6erBr4in ★★★
() автор топика
Ответ на: комментарий от true_admin

да, согласен, плохо сформулировал, но тут проблема в специфике... если кратко, то - почему на NFS client при записи на nfs шару проц загружен так сильно? проблемы с пропускной способностью быть не должно, канал между сервером и клиентом - 1 гигабит.

Cy6erBr4in ★★★
() автор топика
Ответ на: комментарий от Cy6erBr4in

а ты уверен что процесс loader имеет отношение к nfs? Мне кажется это какая-то левая байда, а nfs реализовано на уровне ядра. Могу ошибаться, nfs последний раз настраивал более 6 лет назад.

true_admin ★★★★★
()
Ответ на: комментарий от alex_custov

к сожалению это невозможно по ряду причин... :(

Cy6erBr4in ★★★
() автор топика
Ответ на: комментарий от Cy6erBr4in

Возможно он пишет лог как-то неправильно. Например очень часто делает fsync.

Deleted
()
Ответ на: комментарий от Cy6erBr4in

А если логи вести на локальный диск то производительность вырастет? Ну strace натрави, может, действительно, как подсказывает mironov_ivan, нехорошие системные вызовы софтина делает.

true_admin ★★★★★
()

У вас случаем не nfs v.2 используется? Ещё была команда "nfsstat", посмотрите что она даёт, может у вас потери пакетов (свичи всякие бывают и 1 Гбит ничего не гарантирует) и частые повторные передачи. Может поможет NFS по TCP.

mky ★★★★★
()

Всем спасибо, кастомер сообщил что помогла опция async при монтировании nfs на клиенте :)

Cy6erBr4in ★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.