LINUX.ORG.RU

Аппаратный RAID

 ,


0

2

В первые столкнулся с настройками RAID

В общем ситуация такая:

есть два hdd Western Digital Caviar Green, SATAIII, 5400-7200 rpm, 64Mb, WD20EARX

Контроллер PCI - Serial ATA RAID STLab A-390 Serial ATA 2ch (2p internal) PCI 32bit 33/66MHz standart

Система с установленным Ubuntu server

Linux NFS 3.0.0-12-generic-pae #20-Ubuntu SMP Fri Oct 7 16:37:17 UTC 2011 i686 i686 i386 GNU/Linux

С терабайтным винтом с такой разметкой

root@NFS:~# df -h

Filesystem Size Used Avail Use% Mounted on

/dev/sdc1 9,2G 3,0G 5,8G 34% /

udev 2,0G 4,0K 2,0G 1% /dev

tmpfs 805M 624K 804M 1% /run

none 5,0M 0 5,0M 0% /run/lock

none 2,0G 0 2,0G 0% /run/shm

/dev/sdc6 905G 381G 479G 45% /home

Далее устновил контроллер, подключил винчестеры и настроил в биосе RAID 1

Но не знаю как правильно теперь подключить этот рейд массив.

К примеру мне надо весь жд подмонтировать в /home2

Рейд массив вроде как существует:

root@NFS:~# dmesg|grep sd

[ 1.565330] sd 1:0:0:0: Attached scsi generic sg0 type 0

[ 1.565444] sd 1:0:0:0: [sda] 3907029168 512-byte logical blocks: (2.00 TB/1.81 TiB)

[ 1.565467] sd 1:0:0:0: [sda] 4096-byte physical blocks

[ 1.565751] sd 1:0:0:0: [sda] Write Protect is off

[ 1.565769] sd 1:0:0:0: [sda] Mode Sense: 00 3a 00 00

[ 1.565859] sd 1:0:0:0: [sda] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA

[ 1.901457] sd 2:0:0:0: Attached scsi generic sg1 type 0

[ 1.901508] sd 2:0:0:0: [sdb] 3907029168 512-byte logical blocks: (2.00 TB/1.81 TiB)

[ 1.901530] sd 2:0:0:0: [sdb] 4096-byte physical blocks

[ 1.902268] sd 0:0:0:0: [sdc] 1953525168 512-byte logical blocks: (1.00 TB/931 GiB)

[ 1.902342] sd 0:0:0:0: Attached scsi generic sg2 type 0

[ 1.902504] sd 0:0:0:0: [sdc] Write Protect is off

[ 1.902523] sd 0:0:0:0: [sdc] Mode Sense: 00 3a 00 00

[ 1.902616] sd 0:0:0:0: [sdc] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA

[ 1.902624] sd 2:0:0:0: [sdb] Write Protect is off

[ 1.902631] sd 2:0:0:0: [sdb] Mode Sense: 00 3a 00 00

[ 1.902719] sd 2:0:0:0: [sdb] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA

[ 1.927373] sdc: sdc1 sdc2 < sdc5 sdc6 >

[ 1.928380] sd 0:0:0:0: [sdc] Attached SCSI disk

[ 1.982078] sda:

[ 1.982654] sd 1:0:0:0: [sda] Attached SCSI disk

[ 2.344198] sdb:

[ 2.344773] sd 2:0:0:0: [sdb] Attached SCSI disk

[ 2.622476] EXT4-fs (sdc1): INFO: recovery required on readonly filesystem

[ 2.622494] EXT4-fs (sdc1): write access will be enabled during recovery

[ 2.703336] EXT4-fs (sdc1): orphan cleanup on readonly fs

[ 2.703373] EXT4-fs (sdc1): ext4_orphan_cleanup: deleting unreferenced inode 268725

[ 2.703445] EXT4-fs (sdc1): ext4_orphan_cleanup: deleting unreferenced inode 268724

[ 2.703474] EXT4-fs (sdc1): ext4_orphan_cleanup: deleting unreferenced inode 268723

[ 2.703504] EXT4-fs (sdc1): ext4_orphan_cleanup: deleting unreferenced inode 268721

[ 2.703534] EXT4-fs (sdc1): ext4_orphan_cleanup: deleting unreferenced inode 268719

[ 2.703560] EXT4-fs (sdc1): 5 orphan inodes deleted

[ 2.703576] EXT4-fs (sdc1): recovery complete

[ 2.895126] EXT4-fs (sdc1): mounted filesystem with ordered data mode. Opts: (null)

[ 7.659935] Adding 3905532k swap on /dev/sdc5. Priority:-1 extents:1 across:3905532k

[ 8.020336] EXT4-fs (sdc1): re-mounted. Opts: errors=remount-ro

[ 8.752963] EXT4-fs (sdc6): mounted filesystem with ordered data mode. Opts: (null)

root@NFS:~# ls /dev

agpgart cpu hidraw0 loop4 network_latency pts ram2 rfkill sdc6 stdout tty15 tty23 tty31 tty4 tty48 tty56 tty7 ttyS13 ttyS21 ttyS3 uinput vcs1 vcsa2

autofs cpu_dma_latency hpet loop5 network_throughput ram0 ram3 rtc sg0 tty tty16 tty24 tty32 tty40 tty49 tty57 tty8 ttyS14 ttyS22 ttyS30 urandom vcs2 vcsa3

block disk input loop6 null ram1 ram4 rtc0 sg1 tty0 tty17 tty25 tty33 tty41 tty5 tty58 tty9 ttyS15 ttyS23 ttyS31 usbmon0 vcs3 vcsa4

bsg dri kmsg loop7 oldmem ram10 ram5 sda sg2 tty1 tty18 tty26 tty34 tty42 tty50 tty59 ttyprintk ttyS16 ttyS24 ttyS4 usbmon1 vcs4 vcsa5

btrfs-control ecryptfs log lp0 parport0 ram11 ram6 sdb shm tty10 tty19 tty27 tty35 tty43 tty51 tty6 ttyS0 ttyS17 ttyS25 ttyS5 usbmon2 vcs5 vcsa6

bus fb0 loop0 mapper port ram12 ram7 sdc snapshot tty11 tty2 tty28 tty36 tty44 tty52 tty60 ttyS1 ttyS18 ttyS26 ttyS6 usbmon3 vcs6 vcsa7

char fd loop1 mcelog ppp ram13 ram8 sdc1 snd tty12 tty20 tty29 tty37 tty45 tty53 tty61 ttyS10 ttyS19 ttyS27 ttyS7 usbmon4 vcs7 vga_arbiter

console full loop2 mem psaux ram14 ram9 sdc2 stderr tty13 tty21 tty3 tty38 tty46 tty54 tty62 ttyS11 ttyS2 ttyS28 ttyS8 usbmon5 vcsa zero

core fuse loop3 net ptmx ram15 random sdc5 stdin

Прошу помощи.

Ответ на: комментарий от lexesv

Отключить raid. Использовать только как контроллер sata. Если нужен рейд делать софтовый.

soomrack ★★★ ()
Ответ на: комментарий от lexesv

Рейд-контроллер это кеш-память, батарея и нехилый процессор. А про это недоразумение забудь и сделай софт-рейд.

AlexVIP ()

Green диски, паркующие головы по делу и без - и для райда? Хм.

Про фейкрайд уже сказали.

Deleted ()

сделал софт рейд, но постоянный resync

root@NFS:/# watch cat /proc/mdstat root@NFS:/# cat /proc/mdstat Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10] md0 : active raid1 sdb1[1] sda1[0] 1953512312 blocks super 1.2 [2/2] [UU] [>....................] resync = 0.7% (15466112/1953512312) finish=4194.5min speed=7700K/sec unused devices: <none>

Так и должно быть?

lexesv ()
Ответ на: комментарий от lexesv

но постоянный resync

Что значит постоянный ресинк? Дождался, чтоб полностью винты синкнулись, перезагрузился, и снова ресинк? 2ТБ диски будут ой как долго синхронизироваться, и если в этот момент перезагружаешь комп, то ССЗБ.

Mr_Alone ★★★★★ ()
Ответ на: комментарий от Mr_Alone

И да, после ресинка битмэп не забыть добавить. Если не хочется повторять ресинк целиком каждый раз при падении/отключении нагорячую.

NiTr0 ★★★★★ ()
Ответ на: комментарий от Mr_Alone

2ТБ диски будут ой как долго синхронизироваться, и если в этот момент перезагружаешь комп, то ССЗБ.

Здрасьте, там же чекпоинты.

Homura_Akemi ()
Ответ на: комментарий от Homura_Akemi

Здрасьте, там же чекпоинты.

Давно появилось для создание новго массива? Что-то я упустил.
Ну а судя по данным ТС

finish=4194.5min

:-)

Mr_Alone ★★★★★ ()
Ответ на: комментарий от Mr_Alone

Давно появилось для создание новго массива?

Затрудняюсь сказать, но в 2.6.32 было вроде.

finish=4194.5min

sync_speed_min надо увеличить, там по умолчанию почти ноль.

Homura_Akemi ()
Ответ на: комментарий от YAR

Если я выставлю лимиты на минимум 60Мбит и максимум на 100Мбит, то как минимум 60Мбит будет давать(такой диск должен потянуть)? Не верю!

Mr_Alone ★★★★★ ()
Ответ на: комментарий от Mr_Alone

s/Мбит/Мбайт/

У гринов только с временем поиска сильно плохо, а скорость линейного чтения вполне нормальная. Мой терабайтник 86 Мбайт/сек в начале диска дает.

Ну и да, «минимум» - лимит. Если к диску параллельно будет еще что-то обращаться - то вполне может быть и меньше.

YAR ★★★★★ ()
Последнее исправление: YAR (всего исправлений: 1)
Ответ на: комментарий от YAR

s/Мбит/Мбайт/

Запарился.

Быстрый гуглинг на тему скорости resync при создании массива даёт печальную статистику. Люди минимальный лимит под 40метров/с ставят, а выше 6-7 не поднимается, да и судя по рассылке mdadm это нормальная ситуация. Ну не верю я, что синхронизация будет проходить при близкой к макисмально возможной скорости диска.

Mr_Alone ★★★★★ ()
Ответ на: комментарий от Deleted

А зачем батарея? UPS ее не заменит?

Сервер стоит далеко, идёт интенсивная запись в базу и включено кэширование. Пропадает электричество/скачек напряжения. Батарейка на контроллере позволяет запомнить данные, типа как настройки биоса хранятся годами.

Mr_Alone ★★★★★ ()
Ответ на: комментарий от Mr_Alone

Люди минимальный лимит под 40метров/с ставят, а выше 6-7 не поднимается, да и судя по рассылке mdadm это нормальная ситуация.

Интересно, я ставлю минимум на 200000 Кб/с, синхронизация идёт на максимальной скорости дисков (90-120 Мб/с). Такая фигня может иметь место на RAID 5/6 с дефолтным размером кэша, но чтоб на RAID 1…

Homura_Akemi ()

2Tb грины в RAID1 на псевдоаппаратном рейде.
Советую лучше сразу выбросить диски вместе с данными и не тратить электричество

anonymous_sama ★★★★★ ()
Последнее исправление: anonymous_sama (всего исправлений: 1)

Если кому-то надо выбрать диски под рейд, то можно воспользоваться рекомендацией QNAP. Выбираем в продуктах какойнибудь сервер и смотрим 3.5" HDD Compatibility List. Например, http://www.qnap.com/en/index.php?lang=en&sn=822&c=351&sc=698&...

Deleted ()
Ответ на: комментарий от Homura_Akemi

Я лишь подтверждаю, что и на 5-м RAID'е оно может нормально работать.

YAR ★★★★★ ()
Ответ на: комментарий от x3al

Гм. Ок, на 2/3 скорости. Или на 1/2. Но не на 7 Мбайт/сек :)

YAR ★★★★★ ()
Ответ на: комментарий от Deleted

Да я тож как-то брал грин в надежде, что там таки 5400. А вот хрен — там 7300 (или сколько там), просто они могут затормаживать шпиндель. Вообщем, овчинка не стоит выделки. Лучше брать уже или Blue, а лучше Black «икру».

GreenBag ★★ ()
Ответ на: комментарий от GreenBag

просто они могут затормаживать шпиндель

Да не могут они затормаживать шпиндель, сколько раз уже на это натыкаюсь. Как ты себе это представляешь, с учетом того, что головки парят на воздушной подушке, создаваемой вращением дисков? Будут летать на разной высоте в зависимости от режима работы?

В green-серии просто в зависимости от полученных результатов при отбраковке пластин просто с разной скоростью _фиксируют_ частоту вращения шпинделя. И диапазон значений этой скорости лежит от 5400 до 7200 оборотов.

YAR ★★★★★ ()
Последнее исправление: YAR (всего исправлений: 1)
Ответ на: комментарий от Deleted

Для синхронизации данных из памяти контроллера при сбоях.

AlexVIP ()
Ответ на: комментарий от YAR

Хмм, даже хуже, чем я предполагал. Дурят, на каждом шагу (ведь цена на грины не ниже, чем на Blue, которые нормальные и не брак).

GreenBag ★★ ()
Ответ на: комментарий от GreenBag

Ниже. На несколько долларов, но ниже. Обычно. Плюс потребление, шум и т.п.

YAR ★★★★★ ()
Ответ на: комментарий от Deleted

А зачем батарея?

Потому что кэш-память. Потому что никогда нельзя дать гарантии, что на рейде данные на дисках идентичны в каждый момент времени.

UPS ее не заменит?

За УПСом стоит БП, если что. Сдох у тебя БП (у меня один раз как раз такое было) - представляешь в какую тыкву превратится твоя база, если там в кэше записи метров так 100 данных было?

redgremlin ★★★★★ ()
Ответ на: комментарий от redgremlin

если там в кэше записи метров так 100 данных было?

А уж если на современные контроллеры посмотреть с 1Gb памяти.

Deleted ()
Ответ на: комментарий от redgremlin

метров так 100 данных было?

Эти же 100 метров могли бы находиться и в кэше самих винтов, например. Так что лучше ЮПС + резервирование блоков питания.

YAR ★★★★★ ()
Ответ на: комментарий от YAR

Эти же 100 метров могли бы находиться и в кэше самих винтов, например

Так батарейка же винты и держит. Или контроллер через либастрал свой кэш на обесточенные винты скидывает, по-твоему? ;)

redgremlin ★★★★★ ()
Ответ на: комментарий от redgremlin

Так батарейка же винты и держит

С чего вдруг? Она держит только память на RAID'е.

Или контроллер через либастрал свой кэш на обесточенные винты скидывает, по-твоему?

Он скидывает его при следующем включении питания.

YAR ★★★★★ ()
Ответ на: комментарий от YAR

Эти же 100 метров могли бы находиться и в кэше самих винтов, например.

А вот интересный вопрос... Не отключается ли кэш на hdd и не умеют ли его отключать аппаратные raid ? Иначе смысл в батарейке этой около нуля...

AS ★★★★★ ()
Ответ на: комментарий от AS

Тогда бы этот кэш попросту отсутствовал, например, на RAID Edition-винтах. А он там есть.

Иначе смысл в батарейке этой около нуля...

Ага. Но все так любят «батарейку», что никто толком даже не задумывается, насколько она нужна и есть ли от нее польза.

YAR ★★★★★ ()
Ответ на: комментарий от YAR

Тогда бы этот кэш попросту отсутствовал, например, на RAID Edition-винтах. А он там есть.

С одной стороны да, с другой - их и во всякие софт раиды совать могут...

AS ★★★★★ ()
Ответ на: комментарий от YAR

Хе-хе, работает:

# hdparm -W0 /dev/sda

/dev/sda:
setting drive write-caching to 0 (off)
write-caching = 0 (off)

# hdparm -i /dev/sda

/dev/sda:

Model=TOSHIBA MK3259GSXP, FwRev=GN003J, SerialNo=X1NEP3H3T
Config={ Fixed }
RawCHS=16383/16/63, TrkSize=0, SectSize=0, ECCbytes=0
BuffType=unknown, BuffSize=8192kB, MaxMultSect=16, MultSect=16
CurCHS=16383/16/63, CurSects=16514064, LBA=yes, LBAsects=625142448
IORDY=on/off, tPIO={min:120,w/IORDY:120}, tDMA={min:120,rec:120}
PIO modes: pio0 pio1 pio2 pio3 pio4
DMA modes: sdma0 sdma1 sdma2 mdma0 mdma1 mdma2
UDMA modes: udma0 udma1 udma2 udma3 udma4 *udma5
AdvancedPM=yes: unknown setting WriteCache=disabled
Drive conforms to: Unspecified: ATA/ATAPI-3,4,5,6,7

* signifies the current active mode

AS ★★★★★ ()
Ответ на: комментарий от AS

...и в итоге всей разницы между этими и обычными дисками - упрощение логики и вроде как большая долговечность. За полуторократную прибавку в цене.

YAR ★★★★★ ()
Ответ на: комментарий от AS

Работает. Но вопрос о том, отключено ли оно в железном RAID'e, остается открытым.

YAR ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.