LINUX.ORG.RU
Форум — Admin  

Жутко тормозит RAID1

 , , ,


0

3

CentOS Linux 7.2.1511

Собран RAID1

Данная машина используется как NFS-сервер, сливаются виртуалки.Интерфейс гигабитный, отдельный для бэкапа.

Общий объем виртуалок в районе 500-600Gb. Затрачиваемое время равно 17часов!! С 23:00 до 18-17 часов! По atop-у видно что «затык» именно на винтах.

Данная машина ранее выполняла те же функции(gmirror) под управлением FreeBSD - время копирования составляло 3-4 часа. Переход был обусловлен приведению парка серверов к единообразию.

Что не так? Винты смартом смотрел - все ок. Куда копать?

[root@NFS /]# cat /proc/mdstat
Personalities : [raid1]
md124 : active raid1 sda5[0] sdb5[1]
      961411072 blocks super 1.2 [2/2] [UU]
      bitmap: 3/8 pages [12KB], 65536KB chunk

md125 : active raid1 sdb1[1] sda1[0]
      10485760 blocks super 1.2 [2/2] [UU]
      bitmap: 0/1 pages [0KB], 65536KB chunk

md126 : active raid1 sda3[0] sdb3[1]
      525248 blocks super 1.0 [2/2] [UU]
      bitmap: 0/1 pages [0KB], 65536KB chunk

md127 : active raid1 sda2[0] sdb2[1]
      4194304 blocks super 1.2 [2/2] [UU]

unused devices: <none>


PRC | sys   23m53s  | user  15.30s  |               | #proc    139  | #trun      1  | #tslpi   150  |               | #tslpu     8  | #zombie    0  | clones 16583  |               | #exit      0  |
CPU | sys       2%  | user      0%  | irq       0%  |               | idle     69%  | wait    129%  |               |               | steal     0%  | guest     0%  | curf 2.33GHz  | curscal   ?%  |
cpu | sys       1%  | user      0%  | irq       0%  |               | idle     36%  | cpu001 w 63%  |               |               | steal     0%  | guest     0%  | curf 2.33GHz  | curscal   ?%  |
cpu | sys       1%  | user      0%  | irq       0%  |               | idle     33%  | cpu000 w 66%  |               |               | steal     0%  | guest     0%  | curf 2.33GHz  | curscal   ?%  |
CPL | avg1    8.46  | avg5    8.50  |               | avg15   8.54  |               |               | csw 66133044  | intr 75947e3  |               |               | numcpu     2  |               |
MEM | tot     1.8G  | free   62.8M  | cache   1.4G  | dirty   0.0M  | buff   50.2M  | slab  103.1M  | slrec  75.2M  | shmem   8.7M  | shrss   0.2M  | vmbal   0.0M  | hptot   0.0M  | hpuse   0.0M  |
SWP | tot     4.0G  | free    4.0G  |               |               |               |               |               |               |               |               | vmcom 305.8M  | vmlim   4.9G  |
PAG | scan 73301e3  | steal 7330e4  | stall      0  |               |               |               |               |               |               |               | swin       0  | swout      0  |
MDD |        md127  | busy      0%  | read     125  |               | write      0  | KiB/r      8  | KiB/w      0  | MBr/s   0.00  | MBw/s   0.00  |               | avq     0.00  | avio 0.00 ms  |
MDD |        md126  | busy      0%  | read     494  |               | write     16  | KiB/r     52  | KiB/w      3  | MBr/s   0.00  | MBw/s   0.00  |               | avq     0.00  | avio 0.00 ms  |
MDD |        md125  | busy      0%  | read   26879  |               | write  19897  | KiB/r     18  | KiB/w     20  | MBr/s   0.01  | MBw/s   0.01  |               | avq     0.00  | avio 0.00 ms  |
MDD |        md124  | busy      0%  | read    4920  |               | write 9259e3  | KiB/r      4  | KiB/w     33  | MBr/s   0.00  | MBw/s   5.29  |               | avq     0.00  | avio 0.00 ms  |
DSK |          sdb  | busy     76%  | read    9168  |               | write 3592e3  | KiB/r     22  | KiB/w     85  | MBr/s   0.00  | MBw/s   5.30  |               | avq     2.59  | avio 11.9 ms  |
DSK |          sda  | busy     76%  | read   19588  |               | write 3592e3  | KiB/r     18  | KiB/w     85  | MBr/s   0.01  | MBw/s   5.30  |               | avq     2.58  | avio 11.8 ms  |
NET | transport     | tcpi 80411e3  | tcpo 8488659  | udpi     784  | udpo    1078  | tcpao    949  | tcppo  40958  | tcprs     47  | tcpie      0  | tcpor      4  | udpnp      1  | udpie      0  |
NET | network       | ipi 80423025  | ipo  8489674  |               | ipfrw      0  | deliv 8042e4  |               |               |               |               | icmpi     14  | icmpo     20  |
NET | enp3s4    4%  | pcki 20766e4  | pcko 7477714  | si   43 Mbps  | so  163 Kbps  | coll       0  |               | mlti       0  | erri       0  | erro       0  | drpi     207  | drpo       0  |
NET | ens7      0%  | pcki 2624099  | pcko    1896  | si  558 Kbps  | so    0 Kbps  | coll       0  |               | mlti    2050  | erri       0  | erro       0  | drpi       0  | drpo       0  |
NET | ens6      0%  | pcki    2047  | pcko 1014207  | si    0 Kbps  | so    9 Kbps  | coll       0  |               | mlti    2047  | erri       0  | erro       0  | drpi       0  | drpo       0  |
NET | bond0   ----  | pcki 2626146  | pcko 1016103  | si  558 Kbps  | so    9 Kbps  | coll       0  |               | mlti    4097  | erri       0  | erro       0  | drpi       0  | drpo       0  |
NET | lo      ----  | pcki      95  | pcko      95  | si    0 Kbps  | so    0 Kbps  | coll       0  |               | mlti       0  | erri       0  | erro       0  | drpi       0  | drpo       0  |
                                                                            *** system and process activity since boot ***
  PID        TID      RUID           EUID           THR      SYSCPU       USRCPU       VGROW        RGROW       RDDSK       WRDSK       ST      EXC      S       CPUNR       CPU       CMD        1/4
 1522          -      root           root             1       2m20s        0.00s          0K           0K       1180K       34.5G       N-        -      D           0        0%       nfsd
 1504          -      root           root             1       2m19s        0.00s          0K           0K       4720K       34.5G       N-        -      D           0        0%       nfsd
 1503          -      root           root             1       2m19s        0.00s          0K           0K       2340K       34.5G       N-        -      D           0        0%       nfsd
 1518          -      root           root             1       2m19s        0.00s          0K           0K       1208K       34.5G       N-        -      D           0        0%       nfsd
 1510          -      root           root             1       2m19s        0.00s          0K           0K       2864K       34.5G       N-        -      D           1        0%       nfsd
 1517          -      root           root             1       2m19s        0.00s          0K           0K       1796K       34.5G       N-        -      D           1        0%       nfsd
 1508          -      root           root             1       2m19s        0.00s          0K           0K       2784K       34.5G       N-        -      D           1        0%       nfsd
 1512          -      root           root             1       2m19s        0.00s          0K           0K       1700K       34.5G       N-        -      D           1        0%       nfsd
   47          -      root           root             1      78.76s        0.00s          0K           0K          0K          0K       N-        -      S           0        0%       kswapd0
  623          -      root           root             1      66.28s        0.00s          0K           0K          0K      64488K       N-        -      S           1        0%       jbd2/md124-8

Для использования bitmap раньше точно нужен был какой-то тюнинг. Если сервер надёжно обеспечен электроэнергией, то имеет смысл bitmap отключить совсем.

anonymous
()
Ответ на: комментарий от anonymous

Все чисто. Аномалий нет На всякий случай информацию смарта выкладываю, но и тут я не вижу ничего криминального(может не туда гляжу...) 

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x84) Offline data collection activity
                                        was suspended by an interrupting command from host.
                                        Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                ( 7556) seconds.
Offline data collection
capabilities:                    (0x5b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        No Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   1) minutes.
Extended self-test routine
recommended polling time:        ( 126) minutes.
SCT capabilities:              (0x003d) SCT Status supported.
                                        SCT Error Recovery Control supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   090   090   016    Pre-fail  Always       -       131131
  2 Throughput_Performance  0x0005   100   100   054    Pre-fail  Offline      -       228
  3 Spin_Up_Time            0x0007   127   127   024    Pre-fail  Always       -       181 (Average 180)
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       827
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   130   130   020    Pre-fail  Offline      -       28
  9 Power_On_Hours          0x0012   096   096   000    Old_age   Always       -       33465
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       826
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       912
193 Load_Cycle_Count        0x0012   100   100   000    Old_age   Always       -       912
194 Temperature_Celsius     0x0002   162   162   000    Old_age   Always       -       37 (Min/Max 20/52)
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       0


General SMART Values:
Offline data collection status:  (0x84) Offline data collection activity
                                        was suspended by an interrupting command from host.
                                        Auto Offline Data Collection: Enabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                ( 8041) seconds.
Offline data collection
capabilities:                    (0x5b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        No Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   1) minutes.
Extended self-test routine
recommended polling time:        ( 134) minutes.
SCT capabilities:              (0x003d) SCT Status supported.
                                        SCT Error Recovery Control supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000b   100   100   016    Pre-fail  Always       -       65536
  2 Throughput_Performance  0x0005   132   132   054    Pre-fail  Offline      -       106
  3 Spin_Up_Time            0x0007   137   137   024    Pre-fail  Always       -       180 (Average 154)
  4 Start_Stop_Count        0x0012   100   100   000    Old_age   Always       -       675
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000b   100   100   067    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0005   128   128   020    Pre-fail  Offline      -       29
  9 Power_On_Hours          0x0012   096   096   000    Old_age   Always       -       33464
 10 Spin_Retry_Count        0x0013   100   100   060    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       673
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       829
193 Load_Cycle_Count        0x0012   100   100   000    Old_age   Always       -       829
194 Temperature_Celsius     0x0002   166   166   000    Old_age   Always       -       36 (Min/Max 21/52)
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       0

isoulzi
() автор топика
Ответ на: комментарий от anonymous

тяжело сказать насчет надежно...при пропадании электроэнергии бесперебойник протянет минут 10-15. А что потом? как отсутствие битмапа скажется на зеркале?

isoulzi
() автор топика
Ответ на: комментарий от isoulzi

Но сначала я бы убедился, что чтение тормозится именно из-за операций записи, которые тормозятся WIB.

anonymous
()

Как вариант: не выровненные по границам блока разделы.

Ты бы кроме всего тесты производительности рейда провел, а не опирался только на время бекапа.

futurama ★★★★★
()
Ответ на: комментарий от futurama

Лет шесть назад уже не нужно было ничего выравнивать руками, потому что все утилиты знают про размер физического сектора из sysfs.

anonymous
()
Ответ на: комментарий от anonymous

Убрал битмап - картина не изменилась

[root@NFS log]# cat /proc/mdstat
Personalities : [raid1]
md124 : active raid1 sda5[0] sdb5[1]
      961411072 blocks super 1.2 [2/2] [UU]

md125 : active raid1 sdb1[1] sda1[0]
      10485760 blocks super 1.2 [2/2] [UU]
      bitmap: 1/1 pages [4KB], 65536KB chunk

md126 : active raid1 sda3[0] sdb3[1]
      525248 blocks super 1.0 [2/2] [UU]
      bitmap: 0/1 pages [0KB], 65536KB chunk


PRC | sys    0.37s  | user   0.01s  |               | #proc    145  | #trun      1  | #tslpi   156  |               | #tslpu     8  | #zombie    0  | clones     0  |               | #exit      0  |
CPU | sys       3%  | user      0%  | irq       0%  |               | idle     37%  | wait    159%  |               |               | steal     0%  | guest     0%  | curf 2.33GHz  | curscal   ?%  |
cpu | sys       2%  | user      0%  | irq       0%  |               | idle     11%  | cpu000 w 87%  |               |               | steal     0%  | guest     0%  | curf 2.33GHz  | curscal   ?%  |
cpu | sys       2%  | user      0%  | irq       0%  |               | idle     26%  | cpu001 w 72%  |               |               | steal     0%  | guest     0%  | curf 2.33GHz  | curscal   ?%  |
CPL | avg1    8.51  | avg5    8.62  |               | avg15   8.52  |               |               | csw    19076  | intr   18578  |               |               | numcpu     2  |               |
MEM | tot     1.8G  | free   76.6M  | cache   1.4G  | dirty   0.0M  | buff   57.2M  | slab  103.7M  | slrec  74.7M  | shmem   8.8M  | shrss   0.2M  | vmbal   0.0M  | hptot   0.0M  | hpuse   0.0M  |
SWP | tot     4.0G  | free    4.0G  |               |               |               |               |               |               |               |               | vmcom 314.9M  | vmlim   4.9G  |
PAG | scan   20835  | steal  20835  | stall      0  |               |               |               |               |               |               |               | swin       0  | swout      0  |
MDD |        md125  | busy      0%  | read       0  |               | write      3  | KiB/r      0  | KiB/w      4  | MBr/s   0.00  | MBw/s   0.00  |               | avq     0.00  | avio 0.00 ms  |
MDD |        md124  | busy      0%  | read       0  |               | write   2135  | KiB/r      0  | KiB/w     35  | MBr/s   0.00  | MBw/s   7.46  |               | avq     0.00  | avio 0.00 ms  |
DSK |          sda  | busy     89%  | read       0  |               | write    815  | KiB/r      0  | KiB/w     94  | MBr/s   0.00  | MBw/s   7.51  |               | avq     2.20  | avio 10.8 ms  |
DSK |          sdb  | busy     89%  | read       0  |               | write    815  | KiB/r      0  | KiB/w     94  | MBr/s   0.00  | MBw/s   7.51  |               | avq     2.21  | avio 10.8 ms  |
NET | transport     | tcpi   12708  | tcpo    1550  | udpi       0  | udpo       0  | tcpao      0  | tcppo      3  | tcprs      0  | tcpie      0  | tcpor      0  | udpnp      0  | udpie      0  |
NET | network       | ipi    12713  | ipo     1549  |               | ipfrw      0  | deliv  12713  |               |               |               |               | icmpi      0  | icmpo      0  |
NET | enp3s4    6%  | pcki   51994  | pcko    1438  | si   61 Mbps  | so  210 Kbps  | coll       0  |               | mlti       0  | erri       0  | erro       0  | drpi       0  | drpo       0  |
NET | ens7      0%  | pcki       1  | pcko       0  | si    0 Kbps  | so    0 Kbps  | coll       0  |               | mlti       1  | erri       0  | erro       0  | drpi       0  | drpo       0  |
NET | bond0   ----  | pcki       1  | pcko       0  | si    0 Kbps  | so    0 Kbps  | coll       0  |               | mlti       1  | erri       0  | erro       0  | drpi       0  | drpo       0  |

  PID        TID      RUID           EUID           THR      SYSCPU       USRCPU       VGROW        RGROW       RDDSK       WRDSK       ST      EXC      S       CPUNR       CPU       CMD        1/1
 1503          -      root           root             1       0.04s        0.00s          0K           0K          0K       9152K       --        -      D           0        0%       nfsd
 1504          -      root           root             1       0.04s        0.00s          0K           0K          0K       9152K       --        -      D           0        0%       nfsd
 1508          -      root           root             1       0.04s        0.00s          0K           0K          0K       9216K       --        -      D           0        0%       nfsd
 1510          -      root           root             1       0.04s        0.00s          0K           0K          0K       9280K       --        -      D           0        0%       nfsd
 1512          -      root           root             1       0.04s        0.00s          0K           0K          0K       9152K       --        -      D           0        0%       nfsd
 1522          -      root           root             1       0.04s        0.00s          0K           0K          0K       9152K       --        -      D           0        0%       nfsd
isoulzi
() автор топика
Ответ на: комментарий от futurama

делал RAID при инсталляции centos-а, в графической оболочке...сильно руками не поработаешь

isoulzi
() автор топика
Ответ на: комментарий от futurama

и опять же зачем проводить тест, если atop на записи дисков краснит и зашкаливает по avio?

DSK |          sda  | busy     91%  | read       1  |               | write    881  | KiB/r      4  | KiB/w     93  | MBr/s   0.00  | MBw/s   8.01  |               | avq     2.21  | avio 10.2 ms  |
DSK |          sdb  | busy     90%  | read       0  |               | write    876  | KiB/r      0  | KiB/w     93  | MBr/s   0.00  | MBw/s   7.96  |               | avq     2.23  | avio 10.2 ms  |
isoulzi
() автор топика
Ответ на: комментарий от isoulzi

провел тест Raed: 

 fio -readonly -name iops -rw=randread -bs=512 -runtime=20 -iodepth 1 -filename /dev/md124 -ioengine libaio -direct=1
iops: (g=0): rw=randread, bs=512-512/512-512/512-512, ioengine=libaio, iodepth=1
fio-2.2.8
Starting 1 process
Jobs: 1 (f=1): [r(1)] [100.0% done] [24KB/0KB/0KB /s] [48/0/0 iops] [eta 00m:00s]
iops: (groupid=0, jobs=1): err= 0: pid=3430: Wed Sep 21 13:32:33 2016
  read : io=534528B, bw=26715B/s, iops=52, runt= 20008msec
    slat (usec): min=12, max=243, avg=57.41, stdev= 8.58
    clat (msec): min=4, max=75, avg=18.97, stdev= 6.43
     lat (msec): min=4, max=75, avg=19.02, stdev= 6.43
    clat percentiles (usec):
     |  1.00th=[ 6944],  5.00th=[ 9664], 10.00th=[11584], 20.00th=[13632],
     | 30.00th=[15552], 40.00th=[17024], 50.00th=[18304], 60.00th=[20096],
     | 70.00th=[21888], 80.00th=[23680], 90.00th=[26752], 95.00th=[29568],
     | 99.00th=[33536], 99.50th=[35072], 99.90th=[70144], 99.95th=[75264],
     | 99.99th=[75264]
    bw (KB  /s): min=   13, max=   30, per=98.62%, avg=25.64, stdev= 2.82
    lat (msec) : 10=5.94%, 20=53.45%, 50=40.42%, 100=0.19%
  cpu          : usr=0.23%, sys=0.34%, ctx=1052, majf=0, minf=32
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=1044/w=0/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
   READ: io=522KB, aggrb=26KB/s, minb=26KB/s, maxb=26KB/s, mint=20008msec, maxt=20008msec

Disk stats (read/write):
    md124: ios=1034/1, merge=0/0, ticks=0/0, in_queue=0, util=0.00%, aggrios=522/4, aggrmerge=0/0, aggrticks=9915/134, aggrin_queue=10049, aggrutil=98.17%
  sda: ios=1044/4, merge=0/0, ticks=19831/143, in_queue=19974, util=98.17%
  sdb: ios=0/4, merge=0/0, ticks=0/125, in_queue=125, util=0.62%

Write: 

[root@NFS share]# fio -name iops -rw=randwrite -bs=512 -runtime=20 -iodepth 1 -filename /dev/md124 -ioengine libaio -direct=1
iops: (g=0): rw=randwrite, bs=512-512/512-512/512-512, ioengine=libaio, iodepth=1
fio-2.2.8
Starting 1 process
Jobs: 1 (f=1): [w(1)] [100.0% done] [0KB/8KB/0KB /s] [0/16/0 iops] [eta 00m:00s]
iops: (groupid=0, jobs=1): err= 0: pid=3521: Wed Sep 21 13:36:09 2016
  write: io=157696B, bw=7862B/s, iops=15, runt= 20058msec
    slat (usec): min=110, max=70997, avg=32025.53, stdev=8313.63
    clat (msec): min=15, max=90, avg=32.84, stdev=10.60
     lat (msec): min=22, max=122, avg=64.86, stdev=13.78
    clat percentiles (usec):
     |  1.00th=[17792],  5.00th=[20864], 10.00th=[22400], 20.00th=[24704],
     | 30.00th=[27008], 40.00th=[29312], 50.00th=[31616], 60.00th=[34560],
     | 70.00th=[36096], 80.00th=[38144], 90.00th=[41728], 95.00th=[44288],
     | 99.00th=[75264], 99.50th=[79360], 99.90th=[90624], 99.95th=[90624],
     | 99.99th=[90624]
    bw (KB  /s): min=    5, max=    8, per=100.00%, avg= 7.14, stdev= 0.75
    lat (msec) : 20=3.25%, 50=92.53%, 100=4.22%
  cpu          : usr=0.24%, sys=0.16%, ctx=639, majf=0, minf=30
  IO depths    : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
     submit    : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     complete  : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
     issued    : total=r=0/w=308/d=0, short=r=0/w=0/d=0, drop=r=0/w=0/d=0
     latency   : target=0, window=0, percentile=100.00%, depth=1

Run status group 0 (all jobs):
  WRITE: io=154KB, aggrb=7KB/s, minb=7KB/s, maxb=7KB/s, mint=20058msec, maxt=20058msec

Disk stats (read/write):
    md124: ios=29/309, merge=0/0, ticks=0/0, in_queue=0, util=0.00%, aggrios=17/615, aggrmerge=0/0, aggrticks=126/18612, aggrin_queue=18744, aggrutil=93.63%
  sda: ios=33/615, merge=0/0, ticks=223/18753, in_queue=18991, util=93.63%
  sdb: ios=1/615, merge=0/0, ticks=30/18472, in_queue=18497, util=91.20%

если судить по iops=52(чтение) и iops=15(запись) то все плохо? Как изменить ситуацию? В чем причина?

isoulzi
() автор топика
Ответ на: комментарий от isoulzi

может у тебя mount -o sync ?

В dmesg пусто, выравнивание разделов правильное, железо проверенное, ... если и маунт в порядке, то ХЗ?

futurama ★★★★★
()
Ответ на: комментарий от futurama

так даже если бы и sync?? в атор-е nfs отдыхает...все ждут диски. локально уже проводил тесты(выше), результаты fio - не вдохновляют.

P.S. как проверить выравнивание разделов? может все таки оно???

isoulzi
() автор топика
Ответ на: комментарий от futurama

нет - нету. при инсталляции сразу выбирал RAID1/ext4

isoulzi
() автор топика
Ответ на: комментарий от futurama 
[root@NFS /]# mount | grep md12
/dev/md125 on / type ext4 (rw,relatime,seclabel,data=ordered)
/dev/md126 on /boot type ext4 (rw,relatime,seclabel,data=ordered)
/dev/md124 on /share type ext4 (rw,relatime,seclabel,data=ordered)

правильно я понимаю что выравнивание разделов можно посмотреть так:

[root@NFS /]# fdisk -l /dev/sda

Disk /dev/sda: 1000.2 GB, 1000204886016 bytes, 1953525168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk label type: dos
Disk identifier: 0x000a8907

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1            2048    20989951    10493952   fd  Linux raid autodetect
/dev/sda2        20989952    29386751     4198400   fd  Linux raid autodetect
/dev/sda3   *    29386752    30437375      525312   fd  Linux raid autodetect
/dev/sda4        30437376  1953523711   961543168    5  Extended
/dev/sda5        30439424  1953523711   961542144   fd  Linux raid autodetect
[root@NFS /]# fdisk -l /dev/sdb

Disk /dev/sdb: 1000.2 GB, 1000204886016 bytes, 1953525168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk label type: dos
Disk identifier: 0x0004ce13

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1            2048    20989951    10493952   fd  Linux raid autodetect
/dev/sdb2        20989952    29386751     4198400   fd  Linux raid autodetect
/dev/sdb3   *    29386752    30437375      525312   fd  Linux raid autodetect
/dev/sdb4        30437376  1953523711   961543168    5  Extended
/dev/sdb5        30439424  1953523711   961542144   fd  Linux raid autodetect
isoulzi
() автор топика

Выхлоп hdparm -t /dev/sdX - на каждый диск в массиве. У меня было такое. Из-за медленного чтения диска страдала запись. Выкинул сбойный диск.

DALDON ★★★★★
()
Ответ на: комментарий от DALDON 
[root@NFS ~]# hdparm -t /dev/sda

/dev/sda:
 Timing buffered disk reads: 140 MB in  3.51 seconds =  39.93 MB/sec
[root@NFS ~]# hdparm -t /dev/sdb

/dev/sdb:
 Timing buffered disk reads: 306 MB in  3.04 seconds = 100.50 MB/sec
isoulzi
() автор топика
Ответ на: комментарий от isoulzi

Если у тебя не было сторонней нагрузки на винты в момент hdparm, то это не нормально! Современный винт, под 200 должен давать.

Timing buffered disk reads: 140 MB in  3.51 seconds =  39.93 MB/sec

Это говорит о том, что с винтом, что-то не так...

DALDON ★★★★★
()
Ответ на: комментарий от isoulzi

Какие винты - производитель, модель? Одинаковые? Для некоторых Reallocated Sector Count - вполне значимый параметр, у других на него можно просто забить. В вашем случае, учитывая результат hdparm-а, а также значение этого параметра для первого винта (у второго уж больно смахивает на константу) я бы присмотрелся к sda повнимательнее. Есть вероятность того, что он начинает скопычиваться. Можно временно вывести из массива и прогнать хотя бы чтение тем же whdd.

lspci
()
Ответ на: комментарий от isoulzi

140 MB in 3.51 seconds = 39.93 MB/sec

Вот и источник проблемы.

anonymous
()
Ответ на: комментарий от lspci 
=== START OF INFORMATION SECTION ===
Model Family:     Hitachi Deskstar 7K1000.D
Device Model:     Hitachi HDS721010DLE630
Serial Number:    MSK5215H043AVG
LU WWN Device Id: 5 000cca 37cc1de0f
Firmware Version: MS2OA5Q0
User Capacity:    1,000,204,886,016 bytes [1.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    7200 rpm
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA8-ACS T13/1699-D revision 4
SATA Version is:  SATA 2.6, 6.0 Gb/s (current: 1.5 Gb/s)
Local Time is:    Mon Oct 25 06:27:40 2010 YEKST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF INFORMATION SECTION ===
Model Family:     Hitachi Deskstar 7K1000.D
Device Model:     Hitachi HDS721010DLE630
Serial Number:    MSK5215H045PHG
LU WWN Device Id: 5 000cca 37cc1e6db
Firmware Version: MS2OA5Q0
User Capacity:    1,000,204,886,016 bytes [1.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    7200 rpm
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA8-ACS T13/1699-D revision 4
SATA Version is:  SATA 2.6, 6.0 Gb/s (current: 1.5 Gb/s)
Local Time is:    Mon Oct 25 06:29:29 2010 YEKST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled
isoulzi
() автор топика
Ответ на: комментарий от DALDON

Вывел диск sda из рейда...те же помидоры:

PRC | sys    0.22s  | user   0.02s  |               | #proc    141  | #trun      1  | #tslpi   150  |               | #tslpu     9  | #zombie    0  | clones     0  |               | #exit      0  |
CPU | sys       2%  | user      0%  | irq       0%  |               | idle     46%  | wait    152%  |               |               | steal     0%  | guest     0%  | curf 2.33GHz  | curscal   ?%  |
cpu | sys       1%  | user      0%  | irq       0%  |               | idle     19%  | cpu001 w 79%  |               |               | steal     0%  | guest     0%  | curf 2.33GHz  | curscal   ?%  |
cpu | sys       1%  | user      0%  | irq       0%  |               | idle     27%  | cpu000 w 72%  |               |               | steal     0%  | guest     0%  | curf 2.33GHz  | curscal   ?%  |
CPL | avg1    5.76  | avg5    1.70  |               | avg15   0.64  |               |               | csw    18315  | intr   39961  |               |               | numcpu     2  |               |
MEM | tot     1.8G  | free  948.4M  | cache 657.9M  | dirty   0.2M  | buff   35.0M  | slab   54.8M  | slrec  40.3M  | shmem  40.7M  | shrss   0.2M  | vmbal   0.0M  | hptot   0.0M  | hpuse   0.0M  |
SWP | tot     4.0G  | free    4.0G  |               |               |               |               |               |               |               |               | vmcom 324.9M  | vmlim   4.9G  |
MDD |        md124  | busy      0%  | read       1  |               | write   1758  | KiB/r      4  | KiB/w     27  | MBr/s   0.00  | MBw/s   4.80  |               | avq     0.00  | avio 0.00 ms  |
DSK |          sdb  | busy    101%  | read       1  |               | write    602  | KiB/r      4  | KiB/w     81  | MBr/s   0.00  | MBw/s   4.78  |               | avq     1.75  | avio 16.5 ms  |
NET | transport     | tcpi   32479  | tcpo    1310  | udpi       0  | udpo       0  | tcpao      0  | tcppo     10  | tcprs      3  | tcpie      0  | tcpor      0  | udpnp      0  | udpie      0  |
NET | network       | ipi    32482  | ipo     1311  |               | ipfrw      0  | deliv  32482  |               |               |               |               | icmpi      0  | icmpo      0  |
NET | ens7     38%  | pcki   32775  | pcko    1257  | si   38 Mbps  | so  164 Kbps  | coll       0  |               | mlti       1  | erri       0  | erro       0  | drpi       0  | drpo       0  |
NET | enp3s4    0%  | pcki      66  | pcko      56  | si    5 Kbps  | so    6 Kbps  | coll       0  |               | mlti       0  | erri       0  | erro       0  | drpi       1  | drpo       0  |
NET | bond0   ----  | pcki   32774  | pcko    1257  | si   38 Mbps  | so  164 Kbps  | coll       0  |               | mlti       1  | erri       0  | erro       0  | drpi       0  | drpo       0  |
isoulzi
() автор топика
Ответ на: комментарий от DALDON

Т.е. вывода диска из рейда не достаточно?

Дык, фряха показывала совсем другие показатели....тоже железо, те же диски. Совпадение?

isoulzi
() автор топика
Ответ на: комментарий от isoulzi

Иногда недостаточно, но не уверен, что тут поможет. Еще раз тест hdparm прогоните на выведенном из массивов. И hdparm -i еще покажите для каждого в dmesg смотрели? никаких ошибок, варнингов на тему контроллеров, прерываний нет?

lspci
()
Ответ на: комментарий от lspci 
[root@NFS etc]# hdparm -t /dev/sda

/dev/sda:
 Timing buffered disk reads: 124 MB in  3.15 seconds =  39.32 MB/sec

[root@NFS etc]# hdparm -i /dev/sda

/dev/sda:

 Model=Hitachi HDS721010DLE630, FwRev=MS2OA5Q0, SerialNo=MSK5215H043AVG
 Config={ HardSect NotMFM HdSw>15uSec Fixed DTR>10Mbs }
 RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=56
 BuffType=DualPortCache, BuffSize=25956kB, MaxMultSect=16, MultSect=8
 CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=1953525168
 IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}
 PIO modes:  pio0 pio1 pio2 pio3 pio4
 DMA modes:  mdma0 mdma1 mdma2
 UDMA modes: udma0 udma1 udma2 udma3 udma4 udma5 *udma6
 AdvancedPM=yes: disabled (255) WriteCache=enabled
 Drive conforms to: unknown:  ATA/ATAPI-2,3,4,5,6,7

 * signifies the current active mode

[root@NFS etc]# hdparm -i /dev/sdb

/dev/sdb:

 Model=Hitachi HDS721010DLE630, FwRev=MS2OA5Q0, SerialNo=MSK5215H045PHG
 Config={ HardSect NotMFM HdSw>15uSec Fixed DTR>10Mbs }
 RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=56
 BuffType=DualPortCache, BuffSize=25956kB, MaxMultSect=16, MultSect=8
 CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=1953525168
 IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}
 PIO modes:  pio0 pio1 pio2 pio3 pio4
 DMA modes:  mdma0 mdma1 mdma2
 UDMA modes: udma0 udma1 udma2 udma3 udma4 udma5 *udma6
 AdvancedPM=yes: disabled (255) WriteCache=enabled
 Drive conforms to: unknown:  ATA/ATAPI-2,3,4,5,6,7

 * signifies the current active mode

не вижу...ни варнингов, ни ошибок.. еще вопрос, если предполагать что дело в сбойном диске, а он сейчас выведен, то рейд должен нормально работать? Но такого не произошло...

[root@NFS etc]# cat /proc/mdstat
Personalities : [raid1]
md124 : active raid1 sdb5[1]
      961411072 blocks super 1.2 [2/1] [_U]
      bitmap: 5/8 pages [20KB], 65536KB chunk

md125 : active raid1 sdb3[1]
      525248 blocks super 1.0 [2/1] [_U]
      bitmap: 0/1 pages [0KB], 65536KB chunk

md126 : active raid1 sdb1[1]
      10485760 blocks super 1.2 [2/1] [_U]
      bitmap: 1/1 pages [4KB], 65536KB chunk

md127 : active raid1 sdb2[1]
      4194304 blocks super 1.2 [2/1] [_U]

unused devices: <none>
isoulzi
() автор топика
Ответ на: комментарий от isoulzi

По идее должен нормально работать рейд без выведенного диска. Но кто-ж его знает. Судя по показателям твоей скорости - у тебя мёртвый диск. И к нему когда идёт хоть какое-то обращение - может подвисать система. Ты по моей ссылке ходил? По дефолту, у тебя не будет ядро сыпать ошибок ввода-вывода, до 30 секунд кажется. У меня диск умер до 3 мегабайт в сек - и ядро ничего не сыпало.

У тебя могут быть чудеса, ибо диски не серверные. Так что смотри, тюнь параметры SMART и т.д.

DALDON ★★★★★
()
Последнее исправление: DALDON (всего исправлений: 1)
Ответ на: комментарий от DALDON

Так что смотри, тюнь параметры SMART и т.д.

либо ставь обратно BSD на которой все норм работало и не морочь себе одно лицо.

klasik
()
Ответ на: комментарий от DALDON

Что тюнинговать, мне не понятно.Поставил FreeBSD - и чудо! скорость возросла в 7 раз!! Теперь вместо 69 минут закачка 42 гигов занимает 12минут. Тестил на самом плохом винте из рейда.

PRC | sys    0.86s  | user   0.00s  |               | #proc     25  | #trun      1  | #tslpi    33  |               | #tslpu     0  | #zombie    0  | clones     0  |               | #exit      0  |
CPU | sys      17%  | user      0%  | irq      10%  |               | idle    173%  | wait      0%  |               |               | steal     0%  | guest     0%  | curf 2.33GHz  | curscal 100%  |
cpu | sys       7%  | user      0%  | irq       8%  |               | idle     85%  | cpu000 w  0%  |               |               | steal     0%  | guest     0%  | curf 2.33GHz  | curscal 100%  |
cpu | sys      10%  | user      0%  | irq       2%  |               | idle     88%  | cpu001 w  0%  |               |               | steal     0%  | guest     0%  | curf 2.33GHz  | curscal 100%  |
CPL | avg1    0.31  |               | avg5    0.24  | avg15   0.22  |               |               | csw   305281  |               | intr   72306  |               |               | numcpu     2  |
MEM | tot     2.0G  | free    5.9M  | cache  30.4M  | inact   1.6G  | wired 328.2M  | activ  28.5M  | slrec   0.0M  |               | shmem   0.0M  | shrss   0.0M  | shswp   0.0M  |               |
SWP | tot     3.5G  | free    3.5G  |               |               |               |               |               |               |               |               | vmcom   0.0M  | vmlim   0.0M  |
DSK |         ada0  | busy     89%  | read       5  |               | write  25686  | KiB/r     32  | KiB/w     31  | MBr/s   0.02  |               | MBw/s  80.24  | avq     1.00  | avio 0.35 ms  |
NET | transport     | tcpi  236287  | tcpo  123177  | udpi       3  | udpo       0  | tcpao      0  | tcppo      0  | tcprs      0  | tcpie      0  | tcpor      0  | udpnp      0  | udpip      0  |
NET | network       | ipi   236300  | ipo   123187  |               | ipfrw      0  | deliv 236300  |               |               |               |               | icmpi     10  | icmpo     10  |
NET | bge0     28%  | pcki  236323  | pcko  123187  | si  281 Mbps  | so 7178 Kbps  | coll       0  |               | mlti      26  | erri       0  | erro       0  | drpi       0  | drpo       0  |

  PID         TID      RUID          EUID            THR      SYSCPU      USRCPU        VGROW       RGROW       RDDSK        WRDSK      ST      EXC       S      CPUNR       CPU       CMD        1/1
 2534           -      root          root             10       0.86s       0.00s           0K          0K          0K           0K      --        -       S          1        9%       nfsd
  964           -      root          root              1       0.00s       0.00s           0K          4K          0K           0K      --        -       S          0        0%       sshd
isoulzi
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
Admin