LINUX.ORG.RU

низкая скорость записи на ST8000DM004 ext4

 


0

2

Доброго всем дня. Столкнулся с проблемой - низкая скорость записи на Seagate Barracuda 8 ТБ ST8000DM004. Диск стоит в контроллере 3ware 9650SE-12ML, отформатирован в ext4. Подключен кабелем SFF-8087-SFF-8087 к бэкплейту IBM 44E8780. Все диски на контроллере в режиме JBOD, кэш у всех включен на чтение, выключен на запись.

fdisk -l 

Диск /dev/sdh: 7,3 TiB, 8001563222016 байт, 15628053168 секторов
Единицы: секторов по 1 * 512 = 512 байт
Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт
Тип метки диска: gpt
Идентификатор диска: A0817653-FA31-4F91-90D5-0DED61C7B04C

Устр-во    начало       Конец     Секторы Размер Тип
/dev/sdh1    2048 15628052479 15628050432   7,3T Файловая система Linux

SMART:

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   083   064   006    Pre-fail  Always       -       187505704
  3 Spin_Up_Time            0x0003   092   091   000    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   100   100   020    Old_age   Always       -       315
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   084   060   045    Pre-fail  Always       -       256410698
  9 Power_On_Hours          0x0032   086   086   000    Old_age   Always       -       12427 (60 250 0)
 10 Spin_Retry_Count        0x0013   100   100   097    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   020    Old_age   Always       -       155
183 Runtime_Bad_Block       0x0032   100   100   000    Old_age   Always       -       0
184 End-to-End_Error        0x0032   100   100   099    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0
188 Command_Timeout         0x0032   100   098   000    Old_age   Always       -       8590065666
189 High_Fly_Writes         0x003a   100   100   000    Old_age   Always       -       0
190 Airflow_Temperature_Cel 0x0022   055   023   040    Old_age   Always   In_the_past 45 (Min/Max 39/46 #907)
191 G-Sense_Error_Rate      0x0032   100   100   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       294
193 Load_Cycle_Count        0x0032   099   099   000    Old_age   Always       -       3349
194 Temperature_Celsius     0x0022   045   077   000    Old_age   Always       -       45 (0 24 0 0 0)
195 Hardware_ECC_Recovered  0x001a   083   064   000    Old_age   Always       -       187505704
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0010   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0
240 Head_Flying_Hours       0x0000   100   253   000    Old_age   Offline      -       6937 (60 184 0)
241 Total_LBAs_Written      0x0000   100   253   000    Old_age   Offline      -       39128512214
242 Total_LBAs_Read         0x0000   100   253   000    Old_age   Offline      -       148327237072

Копирую на него все содержимое (медиафайлы объемом более 100 мб) с другого 8ТБ диска (cp -r), примерно 7ТБ. Скорость записи стабильно держится 20-30 МБ/сек на всем протяжении, уже более суток. На данный момент скопировано где-то 2/3.

Диск sdh

atop

MEM | tot    31.3G |  free    2.3G | cache   9.1G |  dirty   3.6G | buff    9.7G |  slab  854.9M | slrec 682.8M | shmem 385.2M  | shrss 129.4M | shswp   0.0M  |              | vmbal   0.0M  |              | hptot   0.0M  | hpuse   0.0M |
SWP | tot     9.2G |  free    9.2G |              |               |              |               |              |               |              |               |              |               | vmcom  32.0G | vmlim  24.9G  |              |
DSK |          sdh |  busy    101% |              |  read       0 | write   1540 |               | KiB/r      0 | KiB/w    127  |              | MBr/s    0.0  | MBw/s   19.2 |               | avq   147.47 | avio 6.49 ms  |              |
DSK |          sda |  busy      2% |              |  read       0 | write     77 |               | KiB/r      0 | KiB/w      8  |              | MBr/s    0.0  | MBw/s    0.1 |               | avq     4.51 | avio 2.96 ms  |              |
DSK |          sdb |  busy      2% |              |  read    1638 | write      0 |               | KiB/r    128 | KiB/w      0  |              | MBr/s   20.5  | MBw/s    0.0 |               | avq     1.79 | avio 0.14 ms  |  

Ранее на этом диске была NTFS, работала через NTFS-3G, скорость записи была в разы больше.

Попробовал скопировать файл >10Гб на рядом стоящий (та-же корзина, тот-же порт контроллера) диск 8 ТБ Toshiba [MG05ACA800E] (ext4) - скорость записи более 100МБ.

Подскажите, в чем искать причину, куда копать?

Размер сектора (логический/физический): 512 байт / 512 байт
Размер I/O (минимальный/оптимальный): 512 байт / 512 байт

Он по идее 4K должен быть.

Radjah ★★★★★
()
Ответ на: комментарий от Radjah

У него в любом случае начало раздела выравнено, так что не суть важно.

anonymous
()

when failed: In_the_past

т.е. то, что диск дохнет, тебя не смущает?

Ещё счетчики ошибок не очень

router ★★★★★
()
Ответ на: комментарий от Radjah

Контроллер, видимо, скрывает.

Тут видно, что он 4К:

smartctl -a -d 3ware,3 /dev/twa0  

smartctl 6.6 2016-05-31 r4324 [x86_64-linux-4.9.0-8-amd64] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model:     ST8000DM004-2CX188
Serial Number:    SNY03TPN
LU WWN Device Id: 5 000c50 0aad190ff
Firmware Version: 0001
User Capacity:    8 001 563 222 016 bytes [8,00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5425 rpm
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   ACS-3 T13/2161-D revision 5
SATA Version is:  SATA 3.1, 6.0 Gb/s (current: 3.0 Gb/s)
Local Time is:    Thu Jul 18 13:47:54 2019 MSK
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

Wolf_46
() автор топика
Ответ на: комментарий от router

т.е. то, что диск дохнет, тебя не смущает?
Ещё счетчики ошибок не очень

Данные ошибки для сигейта - вроде норма. Что дохнет - не вижу. Поясните, пожалуйста

Wolf_46
() автор топика
Ответ на: комментарий от Wolf_46

Данные ошибки для сигейта - вроде норма

Да у вас там секты. Одни свидетели raw счётчиков, у них всё плохо. Другие «у сигейта это норма». А слабо матчасть освоить?

у seagate счётчики Raw_Read_Error_Rate и Seek_Error_Rate - 48 битные. Первые 4 байта - число операций ( не с ошибками, а вообще всех ), последние 2 байта - число ошибок

smartctl -v 7,hex48 -v 1,hex48 /dev/sda

Если лень, осиль хотя бы мануал к smartctl. Seek_Error_Rate всего на 15 попугаев выше дохлого винта

Что дохнет - не вижу

ну попробуй со второго раза прочитать: «when failed: In_the_past». гугль транслейт в помощь

router ★★★★★
()
Ответ на: комментарий от Radjah

Чувак, смарт прямым английским текстом говорит, что диск дохнет.

Ты конечно можешь записать на него ценные данные и даже гордиться, что он не перестанет включаться ещё какое-то время. Может быть даже продолжительное. А потом будешь рвать волосы на жопе и причитать «всё, что нажито непосильным трудом»

router ★★★★★
()
Ответ на: комментарий от router

ну попробуй со второго раза прочитать: «when failed: >In_the_past». гугль транслейт в помощь

гугль транслейт не нужен, на это уже ответили выше - «Перегрелся разок.»

Wolf_46
() автор топика
Ответ на: комментарий от router

т.е. то, что диск дохнет, тебя не смущает?

Не дохнет.

Ещё счетчики ошибок не очень

В 2019 году не знать об особенностях smart'а сигейтов - ну такое.

Deleted
()
Ответ на: комментарий от router

у seagate счётчики Raw_Read_Error_Rate и Seek_Error_Rate - 48 битные.

О, ура, таки знаешь :) Моя вера в человечество восстанавливается! :)

ну попробуй со второго раза прочитать: «when failed: In_the_past». гугль транслейт в помощь

46C - это не много.

Deleted
()
Последнее исправление: Deleted (всего исправлений: 1)

Ранее на этом диске была NTFS, работала через NTFS-3G, скорость записи была в разы больше.

Через этот же контроллер?

Deleted
()
Ответ на: комментарий от router

Чувак, смарт прямым английским текстом говорит, что диск дохнет.

т.е. после форматирования его из NTFS в ext4 он моментально «сдох», и стал писать на скокрости не более 30мб/с ?

Wolf_46
() автор топика
Ответ на: комментарий от Deleted

Через этот же контроллер?

Да, этот диск своего метоположения не менял.

Wolf_46
() автор топика
Ответ на: комментарий от router

Ты прочитай значение атрибута. И посмотри на нормализоаванные значения. Не неси бред. С гарантии диск слетел, не более. Тем паче, что атрибут имеет метку Old-age, даже если такой атрибут вышел за границы - по нему нельзя сказать, что диск умирает.

Deleted
()
Ответ на: комментарий от router

Это сообщение означает факт превышения порога. В данном случае оно останется навсегда, и ничего, кроме того, что когда-то температура была выше оптимальной, не значит.

anonymous
()
Ответ на: комментарий от anonymous

Разве оно не должно записывать максимальное значение? А вобще там под температурный лог отдельная структура вроде, тут я её что-то не вижу в выхлопе. Да и разве не до 65 градусов оптимальная температура? Что тут записывать, такую температуру развить в обычных условиях практически не реально? А хотя это сигейт, кто его знает.

anonymous
()
Ответ на: комментарий от anonymous

Разве оно не должно записывать максимальное значение?

В скобках, не?

Да и разве не до 65 градусов оптимальная температура?

Даже если производитель перестраховывается - ему виднее :)

anonymous
()
Ответ на: комментарий от anonymous
SMART Attributes Data Structure revision number: 10
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   079   064   006    Pre-fail  Always       -       0x000004fe6558
  3 Spin_Up_Time            0x0003   092   091   000    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   100   100   020    Old_age   Always       -       315
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   084   060   045    Pre-fail  Always       -       0x00000f4d070f
  9 Power_On_Hours          0x0032   086   086   000    Old_age   Always       -       12429 (161 31 0)
 10 Spin_Retry_Count        0x0013   100   100   097    Pre-fail  Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   020    Old_age   Always       -       155
183 Runtime_Bad_Block       0x0032   100   100   000    Old_age   Always       -       0
184 End-to-End_Error        0x0032   100   100   099    Old_age   Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       0
188 Command_Timeout         0x0032   100   098   000    Old_age   Always       -       8590065666
189 High_Fly_Writes         0x003a   100   100   000    Old_age   Always       -       0
190 Airflow_Temperature_Cel 0x0022   056   023   040    Old_age   Always   In_the_past 44 (Min/Max 39/46 #907)
191 G-Sense_Error_Rate      0x0032   100   100   000    Old_age   Always       -       0
192 Power-Off_Retract_Count 0x0032   100   100   000    Old_age   Always       -       294
193 Load_Cycle_Count        0x0032   099   099   000    Old_age   Always       -       3349
194 Temperature_Celsius     0x0022   044   077   000    Old_age   Always       -       44 (0 24 0 0 0)
195 Hardware_ECC_Recovered  0x001a   079   064   000    Old_age   Always       -       83780952
197 Current_Pending_Sector  0x0012   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0010   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       0
240 Head_Flying_Hours       0x0000   100   253   000    Old_age   Offline      -       6938 (143 92 0)
241 Total_LBAs_Written      0x0000   100   253   000    Old_age   Offline      -       39497146062
242 Total_LBAs_Read         0x0000   100   253   000    Old_age   Offline      -       148327237832

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed without error       00%     12425         -
# 2  Short offline       Completed without error       00%     12401         -
# 3  Short offline       Completed without error       00%     12367         -
# 4  Short offline       Completed without error       00%     12343         -
# 5  Extended offline    Completed without error       00%     12327         -
# 6  Short offline       Completed without error       00%     12271         -
# 7  Short offline       Completed without error       00%     12248         -
# 8  Short offline       Completed without error       00%     12223         -
# 9  Short offline       Completed without error       00%     12199         -
#10  Short offline       Completed without error       00%     12175         -
#11  Short offline       Completed without error       00%     12151         -
#12  Extended offline    Completed without error       00%     12143         -
#13  Short offline       Completed without error       00%     12103         -
#14  Short offline       Completed without error       00%     12079         -
#15  Short offline       Completed without error       00%     12055         -
#16  Short offline       Completed without error       00%     12031         -
#17  Short offline       Completed without error       00%     12007         -
#18  Short offline       Completed without error       00%     11983         -
#19  Extended offline    Completed without error       00%     11975         -
#20  Short offline       Completed without error       00%     11935         -
#21  Short offline       Completed without error       00%     11911         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

Wolf_46
() автор топика
Ответ на: комментарий от router

Так проблема то в том, что ты не понимаешь, что такое и как работает смарт. А не в окружающих

Deleted
()
Ответ на: комментарий от router

т.е. то, что диск дохнет, тебя не смущает?

а причем тут превышение температуры в прошлом к дохнещему диску? :)

NiTr0 ★★★★★
()

Seagate Barracuda

Я тебе искренне соболезную.

Если на гарантии — сдавай быстрее, пусть меняют на что угодно, хоть на пакет с говном. Если нет, то соболезную, можешь выбросить.

mord0d ★★★★★
()

может попробуй отформатировать диск в btrfs/xfs ?
(с дефолтовыми ключами, без оптимизаций)


просто чтобы убедиться, что проблема не конкретно в ext4 , а где-то выше/глубже.
всё равно, это выйдет быстрее, чем дебажить/трейсить работу ext4

anonymous
()
Ответ на: комментарий от anonymous

зачем? чтобы не скучать? можно еще на 1 или 7 аттрибут тогда посмотреть, поудивляться - ну если не знать как у сигейтов raw аттрибуты некоторые формируются...

NiTr0 ★★★★★
()
Ответ на: комментарий от anonymous

не шутник ни капли
проблема может быть в чём угодно, даже в том, что внутрь винчестера случайно залез таракан и лапками со страху пытается тормозить двигатель диска, когда идёт запись (на ext4, допустим)

anonymous
()

диск норм, не слушай кукаретиков. 45С — это норм рабочая для hdd.

вангую причина тормозов - ext4 lazyinit

Rost ★★★★★
()
Ответ на: комментарий от anonymous

проблема может быть в чём угодно, даже в том, что внутрь винчестера случайно залез таракан и лапками со страху пытается тормозить двигатель диска, когда идёт запись (на ext4, допустим)

Ахаха, уморил, Петросян. Откуда в герметичном корпусе компа вдруг появится таракан?

Deleted
()
Ответ на: комментарий от Deleted

Клапан проест. Фантастика конечно но при ремонте где их только не находишь и в вроде герметичных корпусах тоже

anonymous
()
Ответ на: комментарий от Deleted

А что, есть Seagate, который не Barracuda?

Да, есть. Не так много, но есть.

мой Seagate Barracuda 7200.12 живет уже пятый год, если не больше.

Раньше Seagate делали хорошие диски, сейчас пробили дно.

Я, наверное, уже рассказывал, как у меня за пару дней пачка Seagate Barracuda сдохла, утащив за собой кучу данных (а это был пул для бэкапов!). Больше я с Seagate не связываюсь.

Нужна надёжность — WD (после их объединения с Hitachi моё доверие к ним подросло) (не Green, естественно), Hitachi (дорого, зато надёжно; моему Hitachi уже лет двенадцать, пережил три войны, голод, катаклизм и два конца света, может и меня переживёт).

mord0d ★★★★★
()

man ext4 lazy initialization

Deleted
()

кек

так диск SMR наверно на них много писать нельзя за раз)))0 что то около гигов 20-30 без просадок

anonymous
()
Ответ на: комментарий от smilessss

прирост будет очень ощутимым, но при потере питания есть шанс потерять данные. на моей памяти после выключения питания раза 3 данные терялись.

Deleted
()
Ответ на: кек от anonymous

да, smr днище. не все контроллеры с ними адекватно работают.

Deleted
()
Ответ на: комментарий от router

Чушь. Имею 9-и летние сигейты, по смарту им был каюк еще шесть лет назад, 2 года назад залил новую прошивку, пашут до сих пор ни одной ошибки чтения-запись нет.

anonymous
()
Ответ на: комментарий от mord0d

У меня массив на гринах им 10 лет, есесно отключена парковка, работают 10 лет на файлопопмойке.

anonymous
()
Ответ на: комментарий от anonymous

У меня массив на гринах им 10 лет, есесно отключена парковка

И сколько у тебя там перезаписи набежало?

mord0d ★★★★★
()
Ответ на: комментарий от router

Я конечно может и не прав. Но у меня 2 старых сигейта с истеричным смартом pre fail и old age. Все работает нормально. Почему смарт так истерит как и в данном случае?

Deleted
()
Ответ на: комментарий от anonymous

Ответ прост, многие экономят на корпусных кулерах и просто оставляют корпус со снятой боковой крышкой. Лично у меня ни тараканов, ни мышей внутри не было, только тонкий слой пыли.

Deleted
()
Ответ на: комментарий от anonymous

внутрь винчестера случайно залез таракан и лапками со страху пытается тормозить двигатель диска, когда идёт запись (на ext4, допустим)

таракан вантузоид попался, ntfs он не боится и не тормозит двигатель лапками, может даже ещё быстрее подкручивает.

Deleted
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.