LINUX.ORG.RU
решено Форум — Admin  

Производительность raid контроллера

 , , , ,


2

3

Всем привет

Обнаружил, что падает скорость записи на массив, raid 10. Скорость записи-чтения проверяю локально, просто rsync-ом. На 4х дисках в 10 raid, sas rpm15k, скорость записи достигает 30-40 Мб/сек.
Это же не дело?
Отдельно диски тестировал до сборки массива, все пишут примерно по 175-180 мб/сек
Контроллер ServeRAID M5110, внутри 800 MHz dual-core IBM PowerPC® processor with LSI SAS2208 6 Gbps RAID on Chip (ROC) controller, батарейки нет, памяти вроде 512мб.

Полез смотреть опции чтения и кэширования, а там: 

Adapter 0 -- Virtual Drive Information:
Virtual Drive: 0 (Target Id: 0)
Name                :
RAID Level          : Primary-1, Secondary-0, RAID Level Qualifier-0
Size                : 557.75 GB
Sector Size         : 512
Is VD emulated      : No
Mirror Data         : 557.75 GB
State               : Optimal
Strip Size          : 64 KB
Number Of Drives per span:2
Span Depth          : 2
Default Cache Policy: WriteThrough, ReadAheadNone, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteThrough, ReadAheadNone, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy   : Disabled
Encryption Type     : None
Is VD Cached: No
На другом сервере, с такими же дисками, такой проблемы нет, и там скорость чтения\записи приемлемая, однако, там контроллер уже такой: 
Intel(R) RAID Controller SRCSASLS4I
и там стоит LSI LSISAS2008 ROC device, т.е. контроллер менее производительный. и там имеется следующая конфигурация массива: 
Name                :
RAID Level          : Primary-1, Secondary-0, RAID Level Qualifier-0
Size                : 271.945 GB
Sector Size         : 512
Mirror Data         : 271.945 GB
State               : Optimal
Strip Size          : 64 KB
Number Of Drives per span:2
Span Depth          : 2
Default Cache Policy: WriteThrough, ReadAdaptive, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteThrough, ReadAdaptive, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy   : Disk's Default
Encryption Type     : None
Is VD Cached: No

Вопрос состоит в том, может ли ReadAheadNone и Disk Cache Policy : Disabled давать такую просадку в скорости массива?

Если батарейки нет на обоих, то на обоих «No Write Cache». «Read» на запись влиять не должен особо, «Disk Cache Policy» тоже, раз «No Write Cache». А что в /proc/interrupts пришут про распределение прерываний для драйверов контроллеров?

AS ★★★★★
()
Ответ на: комментарий от AS

А там такое: 

  41:    2071311          0          0          0          0          0          0          0  IR-PCI-MSI 11534336-edge      megasas
  42:          0    2129358          0          0          0          0          0          0  IR-PCI-MSI 11534337-edge      megasas
  43:          0          0    2357438          0          0          0          0          0  IR-PCI-MSI 11534338-edge      megasas
  44:          0          0          0    2212317          0          0          0          0  IR-PCI-MSI 11534339-edge      megasas
  45:          0          0          0          0    2869256          0          0          0  IR-PCI-MSI 11534340-edge      megasas
  46:          0          0          0          0          0    2629359          0          0  IR-PCI-MSI 11534341-edge      megasas
  47:          0          0          0          0          0          0    2517855          0  IR-PCI-MSI 11534342-edge      megasas
  48:          0          0          0          0          0          0          0    2449864  IR-PCI-MSI 11534343-edge      megasas
 NMI:       2411       2403       3134       2785       2459       1628       1485       1474   Non-maskable interrupts
 LOC:   84983747   35935937   35639008   33972264   30795648   30242330   32144436   30440290   Local timer interrupts
 SPU:          0          0          0          0          0          0          0          0   Spurious interrupts
 PMI:       2411       2403       3134       2785       2459       1628       1485       1474   Performance monitoring interrupts
 IWI:          8          1          0          0          0          0          0          0   IRQ work interrupts
 RTR:          0          0          0          0          0          0          0          0   APIC ICR read retries
 RES:    1764487     930984     599919     408218     353957     345450     340660     328841   Rescheduling interrupts
 CAL:      67961      82544      83519      86751     129410     144613     129043     122888   Function call interrupts
 TLB:      10682      12878      10602       8040       6485       5158      10796       5637   TLB shootdowns
 TRM:          0          0          0          0          0          0          0          0   Thermal event interrupts
 THR:          0          0          0          0          0          0          0          0   Threshold APIC interrupts
 DFR:          0          0          0          0          0          0          0          0   Deferred Error APIC interrupts
 MCE:          0          0          0          0          0          0          0          0   Machine check exceptions
 MCP:       1434       1434       1434       1434       1434       1434       1434       1434   Machine check polls
 ERR:          0
 MIS:          0
 PIN:          0          0          0          0          0          0          0          0   Posted-interrupt notification event
 PIW:          0          0          0          0          0          0          0          0   Posted-interrupt wakeup event

Aborigen1020 ★
() автор топика

Disk Cache Policy : Disabled

Я не удивлен, если честно. Дохлая или отсутствующая батарейка = снижение скорость ради хоть какой-то надежности. Да, даже во столько раз.

Pinkbyte ★★★★★
()
Ответ на: комментарий от Pinkbyte

Ну ее там не было никогда.
Я массив собрал, затестил - выдал около 200 мб/сек скорости записи. А сейчас тут 30 мб/сек.

Aborigen1020 ★
() автор топика
Ответ на: комментарий от Pinkbyte

Disk Cache Policy : Disabled

Неужели эта функция запрещает дискам использовать свой кэш? Какой умный контроллер.

Тут так и сказано: 

 Disk Cache Policy: Enabled Use the hard drive's own cache. For example if data is written out the drives this option lets the drives themselves cache data internally before writing data to its platters. 

    Disk Cache Policy: Disabled does not allow the drive to use any of its own internal cache.

Aborigen1020 ★
() автор топика
Ответ на: комментарий от Aborigen1020

Тут так и сказано:

Прикольно. Тогда может и влияет это.

AS ★★★★★
()

Включи кеш чтения. Батарейка не повлияет на надёжность в этом случае.

anonymous
()
Ответ на: комментарий от AS

На втором сервере, на котором все ок, только на первом ядре первого cpu. В обоих случаях это megasas

Нашел, как включить дисковый кэш, а не запретить его использование для дисков 

 megacli -LDSetProp EnDskCache -LAll -aAll

Aborigen1020 ★
() автор топика
Ответ на: комментарий от anonymous

Включи кеш чтения.

Только проблема-то по записи озвучена. Хотя... Если между операциями записи что-то читается, может и повлияет.

AS ★★★★★
()
Ответ на: комментарий от Aborigen1020

Сделал megacli -LDSetProp EnDskCache -LAll -aAll и получил Set Disk Cache Policy to Enabled on Adapter 0, VD 0 (target id: 0) success

Теперь показывает: 

Adapter 0 -- Virtual Drive Information:
Virtual Drive: 0 (Target Id: 0)
Name                :
RAID Level          : Primary-1, Secondary-0, RAID Level Qualifier-0
Size                : 557.75 GB
Sector Size         : 512
Is VD emulated      : No
Mirror Data         : 557.75 GB
State               : Optimal
Strip Size          : 64 KB
Number Of Drives per span:2
Span Depth          : 2
Default Cache Policy: WriteThrough, ReadAheadNone, Direct, No Write Cache if Bad BBU
Current Cache Policy: WriteThrough, ReadAheadNone, Direct, No Write Cache if Bad BBU
Default Access Policy: Read/Write
Current Access Policy: Read/Write
Disk Cache Policy   : Enabled
Encryption Type     : None
Is VD Cached: No
Продолжаю вести наблюдение.

Aborigen1020 ★
() автор топика
Ответ на: комментарий от Aborigen1020

«Безопасно» (rsync с bwlimit) получил значение 48.84MB/s (одновременное чтение/запись), а потом и 78.15MB/s. Потом проверю на полную, без ограничений.
Успех!

Aborigen1020 ★
() автор топика
10 июля 2020 г.
Ответ на: комментарий от Aborigen1020

А в итоге, кроме включения дискового кэша какие-то еще операции были сделаны или нет?

anonymous
()
Ответ на: комментарий от Aborigen1020

Просто хочу у себя тоже включить данный параметр, вот хотел уточнить, не приведет ли это к потере данных или к каким-то другим проблемам?

anonymous
()
Ответ на: комментарий от anonymous

А у вас есть проблемы со скоростью массива?
Сама по себе команда вклчения кеша не деструктивная, у меня все продолжило работать без проблем.

Aborigen1020 ★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
Admin