LINUX.ORG.RU
ФорумAdmin

mdraid один диск медленнее другого

 , ,


0

2

Помогите понять, умирает ли диск или так и должно быть?

Имеется raid1

$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid1 sdb1[2] sda1[0]
      244058944 blocks super 1.2 [2/2] [UU]

md1 : active raid1 sdb5[2] sda5[0]
      732439360 blocks super 1.2 [2/2] [UU]

Записываю в lvm-раздел через dd файл с этого же рейда(файл образ раздела) и в iostat вижу, что один диск надрывается под 100%, а другой как-будто быстренько все записывает и потом курит. То есть у sda загрузка всегда 100%, а у sdb иногда подскакивает под 100%, но потом быстро падает.

$ iostat -x -d 1
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda              52,00  8129,00 1276,00   83,00  9992,00 42496,00    77,25   141,68  123,76    0,87 2013,01   0,74 100,00
md1               0,00     0,00 1248,00 8192,00  4992,00 32768,00     8,00     0,00    0,00    0,00    0,00   0,00   0,00
md0               0,00     0,00   78,00    0,00  4992,00     0,00   128,00     0,00    0,00    0,00    0,00   0,00   0,00
sdb               0,00  8129,00    0,00   73,00     0,00 27220,00   745,75     3,72   52,55    0,00   52,55   3,34  24,40
dm-0              0,00     0,00 1248,00 8192,00  4992,00 32768,00     8,00 17185,91 2351,01    0,42 2709,11   0,11 100,00
dm-1              0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00

SMART у обоих дисков похож, но я не вижу в нем ничего криминального. Если вы видите, то подскажите пожалуйста.

$ sudo smartctl -a /dev/sda
...
=== START OF INFORMATION SECTION ===
Device Model:     ST91000640NS
...
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   082   063   044    Pre-fail  Always       -       189341884
  3 Spin_Up_Time            0x0003   096   096   000    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   100   100   020    Old_age   Always       -       6
  5 Reallocated_Sector_Ct   0x0033   100   100   036    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   067   060   030    Pre-fail  Always       -       5259255
  9 Power_On_Hours          0x0032   095   095   000    Old_age   Always       -       4567
 10 Spin_Retry_Count        0x0013   100   100   097    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   020    Old_age   Always       -       6
184 End-to-End_Error        0x0032   100   100   099    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0
188 Command_Timeout         0x0032   100   100   000    Old_age   Always       -       0
189 High_Fly_Writes         0x003a   100   100   000    Old_age   Always       -       0
190 Airflow_Temperature_Cel 0x0022   078   072   045    Old_age   Always       -       22 (Min/Max 12/28)
191 G-Sense_Error_Rate      0x0032   100   100   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       4
193 Load_Cycle_Count        0x0032   100   100   000    Old_age   Always       -       481
194 Temperature_Celsius     0x0022   022   040   000    Old_age   Always       -       22 (0 12 0 0)
195 Hardware_ECC_Recovered  0x001a   118   099   000    Old_age   Always       -       189341884
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0010   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0

$ sudo smartctl -a /dev/sdb
...
=== START OF INFORMATION SECTION ===
Device Model:     ST91000640NS
...
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   078   063   044    Pre-fail  Always       -       63442351
  3 Spin_Up_Time            0x0003   100   100   000    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   100   100   020    Old_age   Always       -       1
  5 Reallocated_Sector_Ct   0x0033   100   100   036    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   066   060   030    Pre-fail  Always       -       5154768
  9 Power_On_Hours          0x0032   096   096   000    Old_age   Always       -       3556
 10 Spin_Retry_Count        0x0013   100   100   097    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   020    Old_age   Always       -       1
184 End-to-End_Error        0x0032   100   100   099    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0
188 Command_Timeout         0x0032   100   100   000    Old_age   Always       -       0
189 High_Fly_Writes         0x003a   100   100   000    Old_age   Always       -       0
190 Airflow_Temperature_Cel 0x0022   076   072   045    Old_age   Always       -       24 (Min/Max 15/28)
191 G-Sense_Error_Rate      0x0032   100   100   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       0
193 Load_Cycle_Count        0x0032   100   100   000    Old_age   Always       -       2
194 Temperature_Celsius     0x0022   024   040   000    Old_age   Always       -       24 (0 15 0 0)
195 Hardware_ECC_Recovered  0x001a   114   099   000    Old_age   Always       -       63442351
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0010   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0

Собственно вопрос, почему так происходит и если дело не в диске, то куда копать? Что можно еще потыкать в качестве диагностики?

★★★★★

Ну так ты эта, почитай-попиши на каждый диск отдельно и посмотри.

blind_oracle ★★★★★
()

Записываю в lvm-раздел через dd файл с этого же рейда(файл образ раздела)

ИМХО, неудачный тест. Если не путаю, то всё чтение dd будет идти с одного диска. Если dd читает с sda, а пишет на sda и sdb, то sdb будет заметно быстрее. Для интереса попробуйте через dd читать с sdb, а писать на LVM.

А 12 градусов минимальной температуры винта как были достигнуты?

mky ★★★★★
()
Ответ на: комментарий от mky

Если dd читает с sda, а пишет на sda и sdb, то sdb будет заметно быстрее

да, это хорошее объяснение, похоже так оно и есть. поробую это проверить.

А 12 градусов минимальной температуры винта как были достигнуты?

для охлаждения ничего специально не делалось. могу только сказать, что это блейд.

ИМХО, неудачный тест.

собственно это не тест, а рабочая задачка. дело в том, что на соседних машинах с такой же конфигурацией подобная операция происходила заметно быстрее.

autonomous ★★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.