LINUX.ORG.RU

Медленное форматирование ext4 на контроллере LSI SAS 9211-8i

 , , ,


0

1

Возникла следующая ситуация: устанавливаю CentOS 6.5 на 2 SAS-диска с использованием Software RAID1 (создаётся установщиком CentOS). Корневой раздел объемом около 550Гб форматируется установщиком как ext4. На контроллере Adaptec 6405E (Software RAID1 на 2 томах Simple Volume) форматирование как ext4 занимает не более 20 минут, а на LSI SAS 9211-8i - более 2 часов. Нормальна ли такая существенная разница в скорости форматирования? С какой скоростью форматируется у вас?

P.S. Скорость форматирования меня так беспокоит из-за того, что до этого были проблемы (возможно, что есть до сих пор) с дисковой подсистемой (форматирование повисало, но причиной вроде как оказался битый контроллер Adaptec 6405H, на котором тоже форматировалось не более 20 минут, но потом система повисала)

P.P.S. Конфигурация сервера: Жесткий диск SAS Seagate 600Gb, ST3600057SS, Cheetah 15K.7, 15000 rpm

Процессор Intel Xeon E5-1650V2 Ivy Bridge-EP

Серверная материнская плата ASUS Z9PA-U8 (RTL) LGA2011 < C602> 2xPCI-E SVGA 2xGbLAN SATA RAID ATX 8DDR-III

Модуль памяти Kingston DDR-III 4GB (PC3-12800) 1600MHz [KVR16R11D8/4] ECC Reg CL11 DRx8

Контроллер Adaptec 6405H Host Bus Adapter

ACK-I-mSASx4-mSASx4-0.5m Корпус Chenbro SR10566, w/o PSU, EEB (12"X13"), 1x12cm Fan, w/USB, BK, Rackable,Tylersburg

Корзина Chenbro для HDD 3.5" x4 miniSAS BP+80mm fan 84H220910-078

Заранее спасибо за любую полезную информацию

сата линки проверь, бывает такое если корзины/бэкплейн гавно или просто контакт хреновый, часто сопровождается матами ядра/рейдконтроллера.

anonymous ()
Ответ на: комментарий от anonymous

сата линки проверь

имеете ввиду физический контакт кабеля, контроллера, корзины и дисков? Переподключал уже десятки раз, не помогло. Хотя иногда вставляю диск в корзину - индикаторы горят как положено, а контроллер не видит его. Переподключаю еще раз - видит. Корзину и кабель не пробовал менять, так как считал, что проблема скорее всего в контроллере

часто сопровождается матами ядра/рейдконтроллера

А в каком именно логе смотреть? И какие ошибки могут быть в таком случае?

mvi777 ()
Ответ на: комментарий от mvi777

маты ядра стандартные в dmesg по поводу sata link timeout/reset итд, как смотреть маты контроллера зависит от самого контроллера, в документации смотрите, вобщем если есть на нем стандартные саташные разьемы попробуйте диски на прямую подоткнуть без корзин с бекплейном и посмотреть что будет.

anonymous ()

20 минут форматирование раздела - это тоже не нормально. 2 часа - тем более.

Вот пример с LVM томом размером 550Gb на обычном SATA диске. Software RAID 1, возможно, будет чуть медленнее, но не на столько.

# time mke2fs -t ext4 /dev/homesrv_2tb/test 
mke2fs 1.42.7 (21-Jan-2013)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
Stride=0 blocks, Stripe width=0 blocks
36044800 inodes, 144179200 blocks
7208960 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=4294967296
4400 block groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
Superblock backups stored on blocks: 
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208, 
        4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968, 
        102400000

Allocating group tables: done                            
Writing inode tables: done                            
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done     


real    0m3.568s
user    0m0.550s
sys     0m0.160s

Black_Shadow ★★★★★ ()
Последнее исправление: Black_Shadow (всего исправлений: 1)
Ответ на: комментарий от Deleted

на 2 контроллерах которые хотя бы работают - не последние, но и не старые (соответствуют версии драйвера в Centos 6.5). А на 6405H пробовал все, считая последнюю. Так с последней было хуже всего - он еще и 2 диска (резервных) отформатировал так, что они теперь вместо 600гб стали 0 гб. А еще на 6405H постоянно мигали индикаторы error на корзине (красные). Но 6405H думаю дохлый попался изначально

mvi777 ()
Ответ на: комментарий от mvi777

на 2 контроллерах которые хотя бы работают - не последние, но и не старые

Шей последнюю (P19). У LSI линуксовая прошивалка есть, Шить так:

./sas2flash -o -listsasadd (записываешь адрес)
./sas2flash -o -e 7
./sas2flash -o -f 2118it.bin
./sas2flash -b mptsas2.rom
./sas2flash -o -sasadd address_without_dashes

Шить, разумеется, в IT-стек.

Deleted ()
Ответ на: комментарий от mvi777

А на 6405H пробовал все, считая последнюю. Так с последней было хуже всего - он еще и 2 диска (резервных) отформатировал так, что они теперь вместо 600гб стали 0 гб. А еще на 6405H постоянно мигали индикаторы error на корзине (красные). Но 6405H думаю дохлый попался изначально

Очень похоже, что не читаны доки, поставляемые с прошивкой. Там периодически содержится очень важная информация.

Deleted ()

20 минут на ext4 не нормально. Там меньше минуты, тем более на контроллере. Может, ядрышко старовато?

Deleted ()
Ответ на: комментарий от Deleted

доки именно к этой прошивке не читал, читал мануал как прошивать и общие доки. error горел на всех 3 прошивках. Думаю либо дело в кабеле/корзине (так как все 3 контроллера глючат так или иначе), либо в материнке (кажется крайне маловероятным), либо у всех 3 контроллеров разные проблемы (такое вот прямо совпадение)

mvi777 ()
Ответ на: комментарий от mvi777

Перед выводом сервера в продакшн обновляются все фирмвари (биос, BMC, RAID/HBA, хотсвоп-бэкплейн, и т.д.). После этого делаются выводы про глючные материнки, кабели, корзины и т.д.

Deleted ()
Ответ на: комментарий от Deleted

Мне кажется, что я все исключил кроме прошивки контроллера (пробовал другой сервер, другие диски, другой кабель вместо корзины). Но с прошивкой что-то не могу разобраться. Скачал последние архивы:

1)UEFI_BSD_P19 (BIOS), внутри:

x64sas2.efi и x64sas2.rom => в вашей инструкции их нет - они вообще не нужны? (и что это такое, кстати?)

2)Installer_P19_for_Linux (Firmware), внутри:

sas2flash => здесь сама утилита для прошивки, все понятно

3)9211-8i_Package_P19_IR_IT_Firmware_BIOS_for_MSDOS_Windows (Firmware), внутри:

2118it.bin mptsas2.rom вроде вот этими 2 файлами и нужно прошивать, но почему-то пакет называется MSDOS_Windows, а аналогичного пакета под Linux нет. Прошивать этими 2 файлами, они от ОС не зависят ведь никак?

mvi777 ()
Ответ на: комментарий от mvi777

x64sas2.efi и x64sas2.rom => в вашей инструкции их нет - они вообще не нужны? (и что это такое, кстати?)

http://www.bussink.ch/?p=1511

но почему-то пакет называется MSDOS_Windows

Потому-то рядом с фирмварью лежат прошивалки под DOS и Windows.

Прошивать этими 2 файлами, они от ОС не зависят ведь никак?

Если задаются такие вопросы, то может ну его, прошивание серверных железок?

Deleted ()
Последнее исправление: Deleted (всего исправлений: 2)
Ответ на: комментарий от Deleted

из Linux не прошивается, а UEFI Shell в материнке глючит (ругается на secure boot, хотя он и disabled), пока не удалось победить. Я погуглил опыт других людей - только через UEFI Shell и получается у них. А вот не было бы UEFI в материнке (в серверной как раз и нет, пробую на десктопной) - как тогда прошивать? Мне кажется, что LSI что-то не додумала...

mvi777 ()
Ответ на: комментарий от mvi777

из Linux не прошивается

Совершенно невозможно. На днях прошивал 9211-8i.

а UEFI Shell в материнке глючит (ругается на secure boot, хотя он и disabled), пока не удалось победить.

А не надо было брать асус.

http://true-system.blogspot.ru/2013/10/lsi-sas-hba-supermicro-x9-efi-shell.html

Deleted ()
Ответ на: комментарий от mvi777

(пробовал другой сервер, другие диски, другой кабель вместо корзины).

А кардинально другие ядра, или шедулеры попереключать ? Был случай, когда cfq ломали во времена 2.6.18, к примеру. Может, что-то в этом роде ?

AS ★★★★★ ()
Последнее исправление: AS (всего исправлений: 1)
Ответ на: комментарий от mvi777

прошивка IR на IT

Если контроллер с прошивкой IR (RAID), а вы планируете перешить, комплектным прошивальщиком в IT (HBA), то будет ошибка. В конференции http://forum.ixbt.com/topic.cgi?id=11:43801:1425#1425, пользователь с ником «E320 Sportline опус» обубликовал процедуру прошивки и утилиту с помощью которой легко сменить IR на IT. LSIUtil В линуксе перешивать ещё проще, чем в дос и вынь.

lavro ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.