LINUX.ORG.RU

2
Всего сообщений: 39

Вопрос по RAID (mdadm)

Добрый день.

Имеется сервер с Debian Jessie

На нем создано два raid5 из 3-х дисков.

# cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10]
md1 : active raid5 sdc2[2] sda2[0] sdb2[1]
      933533696 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
      bitmap: 3/4 pages [12KB], 65536KB chunk

md0 : active raid5 sdc1[5] sda1[3] sdb1[4]
      3901440 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]

unused devices: <none>

Изначально пытался реализовать один RAID5 + LVM, но столкнулся с проблемой, что при отключении одного из дисков - GRUB отказывался загружаться, по этому я вывел /boot на отдельный RAID без LVM.

Теперь заметил другую проблему. При отключении одного из дисков, и после перезагрузки - повторного его подключения он не подтягивается автоматом к массиву. Так и должно быть? И если так, есть ли возможность реализовать автоподключение диска к массиву?

Спасибо.

P.S. И еще почему-то диски считаются последовательно. А не от каждого массива.

Т.е. на других серверах вот так:

 1	Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10] 
     2	md1 : active raid5 sda2[0] sdc2[2] sdb2[1]
     3	      933533696 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
     4	      bitmap: 2/4 pages [8KB], 65536KB chunk
     5	
     6	md0 : active raid5 sdc1[0] sda1[2] sdb1[1]
     7	      3901440 blocks super 1.2 level 5, 512k chunk, algorithm 2 [3/3] [UUU]
     8	      
     9	unused devices: <none>

От чего это зависит и чем это черевато?

 , ,

Krishnoved ()

Замена дисков в рейде на большего размера.

Здравствуйте.

В наличии файловый сервер. Ubuntu 14.04. Из 3 HDD 1Gb собран RAID5.

Задача: заменить 3 HDD 1Gb на 3 HDD 2Gb

Как я это представляю: отключаю от рейда 1 диск, на его место ставлю новый диск, жду когда рейд сделает ребилд с новым диском. И так со всеми остальными дисками.

Всё верно?

Вопрос:

рейд поймет, что новый диск большего размера, чем был до этого?

 

INDIGO ()

Программный рейд

Тут мне помогали определиться с диском. Я таки решила раскошелиться и взяла WD Gold на 4Tb. Сейчас план такой: сделаю деградированый рейд-1 из одного диска. Через пару месяцев, когда накоплю деньжат, возьму второй такой же и добавлю его, получив нормальный зеркальный рейд. А когда месте мне перестанет хватить, куплю третий диск и рейд-1 прокачаю до рейд-5.

Почитав об программном рейде в линукс, я поняла, что так можно делать. Правильно?

Собственно, в чем заключается мой вопрос. Я бы делала рейд из физических устройств (/dev/sdb, /dev/sdc). А везде в статьях рейды делают из разделов, и уже поверх создают фс. Имеет ли это смысл? Если у меня есть отдельный жесткий диск под систему и набор одинаковых дисков под рейд, почему мне не стоит добавлять физические диски в рейд?

И еще вопрос. Вот будет у меня зеркальный рейд на двух 4Tb дисках. Добавлю еще один такой же с сделаю рейд-5. Полезного пространства будет 8Tb. У меня добавится свободное место в конце виртуального устройства /dev/md0? И я смогу просто расширить раздел?

Так не хочется заморачиваться с lvm :(

 ,

totik ()

Непонятки с hp smart array

Всем привет. Сегодня пришло от мониторинга, что умерла продакшен система. Беглый осмотр выявил, что пропал 1 раздел. При глубоком осмотре выявились непонятки:

 array B (SATA, Unused Space: 0  MB)


      logicaldrive 2 (1.8 TB, RAID 5, Failed)

      physicaldrive 3C:1:5 (port 3C:box 1:bay 5, SATA, 1 TB, OK)
      physicaldrive 3C:1:6 (port 3C:box 1:bay 6, SATA, 1 TB, OK)
      physicaldrive 3C:1:7 (port 3C:box 1:bay 7, SATA, 1 TB, OK)
      physicaldrive 3C:1:8 (port 3C:box 1:bay 8, SATA, 1 TB, OK, spare)

Т.е. раздел исчез, в тулзе hpacucli помечен как Failed, но все диски вроде как в отличном состоянии. iLO ничего нового не показал, кроме 2х ошибок в одно и то же время:

POST Error: 1792-Drive Array Reports Valid Data Found in Array Accelerator

POST Error: 1779-Slot X Drive Array - Replacement drive(s) detected OR previously failed drive(s) now appear to be operational.

Статус АКБ - ОК. Статус контроллера - тоже. Т.е. все вроде как отлично, но raid сбойный. Как его починить? На дисках важные данные, физического доступа к серверу нет, rescan пробовал сделать - толку ноль. Кто-то сталкивался? Контроллер Smart Array P410i.

РЕШЕНО. Оказывается, у данного контроллера есть бага в прошивке, надо обновиться на последнюю. На данный момент проблема была решена переподключением сбойного logical drive посредством команды:

ctrl slot=0 ld 2 modify reenable forced 

Узнать слот можно при выхлопе

 hpacucli ctrl all show status

Smart Array P410i in Slot 0 (Embedded)
   Controller Status: OK
   Cache Status: OK
   Battery/Capacitor Status: OK

 , ,

dgeliko ()

Установка на RAID 1

Здравствуйте дорогие коллеги, есть сервак с 8 винтами по 200 ГБ, на нем уже создан RAID 5, мне сейчас надо установить новую систему на один винт(все остальные не нужны, на них что было не имеет дальнейшого смысла держать), чтобы потом создать RAID 1 с двумя винтами. Вот сейчас у меня вопрос, если я установлю proxmox на один винт, как мне удалить второй винт из предыдущего RAID 5 и добавить в RAID 1. Точнее мне надо узнать как только удалить из старого RAID 5. Прошу прощения если как-то не понятно написал.

 , ,

darknet ()

btrfs перестал монтироваться.

Есть нетгир - ReadyNAS с 4 дисками. RAID5 собран на разделах sd[abcd]3, который перестал монтироваться. Поверх md127 создана btrfs, котороя заполнена практически полностью (свободно гигов 14).

Label: '0e353126:NETG_5RAID'  uuid: e1557f17-5557-4ca4-bee3-04329056605a
        Total devices 1 FS bytes used 5.37TiB
        devid    1 size 5.44TiB used 5.44TiB path /dev/md127

В нетгировском комьюнити мне сказали, что нельзя было заполнять до 99% btrfs и чтобы я двигал в сервисный центр для восстановления данных. При загрузке md127 не монтируется и процесс висит в состоянии D. В dmesg я вижу это:

btrfs: corrupt leaf, slot offset bad: block=449773568,root=1, slot=196
btrfs: corrupt leaf, slot offset bad: block=449345348,root=1, slot=196
btrfs: corrupt leaf, slot offset bad: block=449345348,root=1, slot=196
btrfs: corrupt leaf, slot offset bad: block=449345348,root=1, slot=196

Действительно все так плохо или может можно как-то расширить btrfs или прогнать btrfs repair? В интернетах пишут, что btrfs scrub работает с RAID5 только с версией ядра >= 3.1.2, а у меня 3.0.

 , ,

put_spell_on_y0u ()

расширение raid5 на adaptec ASR5805

Есть adaptec ASR5805

Хочу заменить в RAID5 4 диска ( по-очереди ) с 1ТБ на 2ТБ.

Вопрос: после ребилда последнего диска размер тома автоматически измениться?

 ,

vel ()

Проблема с RAID5

Доброго дня, господа. Столкнулся с такой проблемой:

Есть RAID5 на плате Adaptec. Файловая система ext3.

В один прекрасный день, слышу писк контроллера и не возможность загрузить ОСь (кстати, заинсталил Debian с ядром OpenVZ).

Первым делом залез в настройки самого контроллера и увидел, что первый жёсткий диск ребилдится. После сего процесса, пересмотрел SMART состояния HDD увидел что ВСЕ диски в состоянии optimal. Мол всё круто.

На деле, при запуске ОСи, рейд не поднимается. Сыпятся ошибки типа:

[32101.487044] end_request: I/O error, dev sda, sector 560

[32101.521617] end_request: I/O error, dev sda, sector 440

При чём, сыпятся первые 2 КБ.

Пробовал testdisk'ок найти и записать эти 2КБ, но вылезла ошибка записи.

Что делать? Как быть? Я не понимаю что происходит. Контроллер пишет, что всё нормально, а на деле проблема.

 , ,

FreeDemon ()

ПРоблема с добавлением диска в raid5

Был raid5, 3 диска по 3TB, на них крутилась ext4. Добавил в raid еще 1 диск 3 TB.

cat /proc/mdstat 
Personalities : [raid6] [raid5] [raid4] 
md0 : active raid5 sdc[3] sda1[0] sdd1[2] sdb1[1]
      8790400512 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/4] [UUUU]
      
unused devices: <none>

делаю 
e2fsck -f /dev/md0p1
Далее 
resize2fs /dev/md0p1
resize2fs пишет
The filesystem is already 1465066240 blocks long.  Nothing to do!
Disk /dev/md0: 9001GB
Sector size (logical/physical): 512B/4096B
Partition Table: gpt

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  6001GB  6001GB  ext4         primary

то есть не расширяется /dev/md0p1 он так и остается 6TB, как увеличеть?

 

ilovemoney ()

Не могу Восстановить RAID5.

здравствуйте. Помогите, плз, с рейдом, не пойму никак. Был RAID5, 4 диска, шифрование LUKS поверх него, ext4. Один из дисков то ли сдох, то ли что, в BIOS он виден что есть, но в отличие от трёх других, биос перестал видеть его модель. Странно, может сдох, хз, нет времени с ним разбираться.

Короче, осталось три диска, но raid почему-то inactive.

#mdadm -D /dev/md0
/dev/md0:
        Version : 1.2
     Raid Level : raid0
  Total Devices : 3
    Persistence : Superblock is persistent

          State : inactive

           Name : debian01:0
           UUID : 75d5c473:0d17ec5a:821c3116:35b0c48a
         Events : 29092

    Number   Major   Minor   RaidDevice

       -       8       17        -        /dev/sdb1
       -       8       33        -        /dev/sdc1
       -       8       49        -        /dev/sdd1


#mdadm --assemble --scan /dev/md0
mdadm: /dev/md0 assembled from 2 drives - not enough to start the array

 ,

Piter_prbg ()

Primergy TX300 всегда горит зеленый на 2 SAS, что значит?

В инструкции такого пункта нет. Все ли в порядке?

Предыстория: умер диск в рэйд5, вставил другой, плюс один запасной. Теперь и новый и запасной горят всегда зеленым. Остальные мигают зеленым. Так уже неделю. Сервер без проблем работает. При загрузке видно, что FW на новых дисках другой версии, может поэтому?

 , , ,

Legoman ()

Помогите вытащить данные из RAID5

Здравствуйте.

Оговорюсь сразу: до сих пор дел с софт-рейдами не имел, сервер достался в наследство от предыдущего админа.

Умер программный рейд - отвалились первые два диска из четырех... Опыта нет, начальство гневается, пришлось срочно нагугливать знания и тут же их применять... В общем, кривыми руками сделал только хуже, но восстановил массив, и тот отсинхронился. Но система грузиться не желает, поскольку указанной прямоты руками я убил grub. В итоге новоустановленный (на еще один винт) дебиан видит массив, но примонтировать его никуда не может, поскольку «На диске /dev/md0 отсутствует верная таблица разделов». Мольба о помощи: пожалуйста, помогите вытащить данные!

 

Mortgoroth ()

RAID5 inactive, не могу активировать

Имеется: Ubuntu-server 12.04 / софт RAID5, xfs, на дисках по 3TB. Проблема: все было хорошо, до тех пор, пока не решился расширить мой рэйд. было шесть дисков, подключил седьмой, скомандовал «sudo mdadm /dev/md0 --grow --raid-devices=7», процесс пошел, минут через пять отвалился один диск от рэйда, время ребилда подскочило до 80тыс минут. процесс продвинулся на 0.1%. не придумал ничего лучшего, как вырубить сервак и искать помощь. понимаю, сглупил. однако нужно восстанавливать инфу. сейчас при попытке «sudo mdadm --assemble --scan» выдает в ответ «mdadm: /dev/md0 assembled from 5 drives - not enough to start the array»

выпавший диск в порядке, по крайней мере, SMART тесты проходит, таблица разделов на месте.

вывод «mdadm --assemble --scan -v» здесь http://pastebin.com/h5QNCU4w

прошу помощи у сообщества.

 ,

XiMA4 ()

RAID5 vs RAIDZ (и Linux vs BSD) для торрентофайлопомойки с доступом по SMB

Друзья, имеет место быть HP Microserver gen 7 (память наращена до 8 гб), на который хочу перевезти с miniITX на Атоме свою торрентофайлопомойку. Текущая конфигурация на FreeBSD+ZFS JBOD на двух дисках (ничего на сервере критичного не держится).

Доступ остальные машины получают по Samba.

Так вот, имея 4 диска на 1.5Тб (два из одной партии, два из другой), имеются варианты а) построить RAIDZ на ZFS+FreeBSD, б) software RAID5 на Linux. В интернетах пугают тем, что при перестройке RAID5 может гикнуться второй диск с вероятностью, близкой к 0,1.

С другой стороны, объективно производительность Samba и в среднем файловых операций в Linux выше. Что выбрать?

 , , , ,

Lothlorien ()

Форматирование raid-устройства: опции stride и stripe-width

Всем привет.

Форматирую с помощью mkfs.ext3 уже созданный програмно RAID 5 и не могу понять что значит опция stride. stripe-width как я понамаю к-во блоков данных, которые последовательно пишуться на разные диски масива, а вот насчет stride не уверен...похоже что это блоки сервисных данных (в т.ч. и блоки четности). Верно ли я рассуждаю?

ПС. Ман читал, но там не совсем ясно как по мне.

Спасибо.

 , , ,

ipeacocks ()

Отвалилсь 2 диска (из-за разъема) в md raid5

Беда...

Из-за кривых шатающихся разъемов из массива выпали два диска из 5ти. Итого массив крашнулся. Сейчас провод тупо подклеил, чтобы не шатался. Поломок диска не было, прошу помощи в сборке массива обратно с сохранением данных

Еще вчера было все нормально, т.е. поломка произошла недавно

Уже успел найти некоторые команды по диагностике, в частности вывод кол-ва транзакций по дискам, как я понял. Итог:

mdadm -E /dev/sd* | grep Event
mdadm: No md superblock detected on /dev/sdc.
mdadm: No md superblock detected on /dev/sdc1.
mdadm: No md superblock detected on /dev/sdc2.
mdadm: No md superblock detected on /dev/sdc3.
         Events : 336306
         Events : 336306
         Events : 336306
         Events : 336289
         Events : 336289

Два последних пункта, соответсвено от выпавших дисков. На массив успело записаться 17 эвентов. Это сильно плохо?

UPD: Танк потушен. Помогла принудительная сборка массива. Это был домашний файловый архив относительно большого объема, писать образы дисков попросту некуда. Потери файлов не обнаружил, что не удивительно - с предполагаемого времени сбоя записей на фс не происходило. Видимо 17 эвентов какими-то служебными действиями демона md

 , ,

MahMahoritos ()

Низкая скорость reshape mdadm

Был raid5 из 3-х дисков, прикупил новую мать и еще один диск, и решил сделать raid6. Выполнил следующую команду:

mdadm --grow /dev/md0 --raid-disk=4 --level=6 --backup-file=/var/backup

Скорость пересборки массива оказалась около 7 mb/sec. Заметил, что не включен режим AHCI, сделал mdadm -S /dev/md0, рестартанул мать, включил в BIOS AHCI, но после перезагрузки пересборка массива всё еще около 7 mb/sec.

Пробовал удалить диск из массива и заново добавить, но это тоже не помогает. Ждать 5 дней для пересборки массива не сильно жажду. Вот что имею на данный момент:

hdparm -tT показывает скорость около 170 mb/sec на каждый диск.

cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10]
md0 : active raid6 sdb1[4](S) sdd1[0] sde1[3] sdc1[1]
      5860528128 blocks super 1.2 level 6, 512k chunk, algorithm 18 [4/3] [UUU_]
      [>....................]  reshape =  0.7% (21700608/2930264064) finish=6489.7min speed=7469K/sec
mdadm -D /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Sat Jun 30 12:43:10 2012
     Raid Level : raid6
     Array Size : 5860528128 (5589.04 GiB 6001.18 GB)
  Used Dev Size : 2930264064 (2794.52 GiB 3000.59 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Sat Nov 10 23:04:03 2012
          State : clean, degraded, reshaping
 Active Devices : 3
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric-6
     Chunk Size : 512K

 Reshape Status : 0% complete
     New Layout : left-symmetric

           Name : esagila:0  (local to host esagila)
           UUID : 8ebc073a:be728342:2486289c:5300bd58
         Events : 13369

    Number   Major   Minor   RaidDevice State
       0       8       49        0      active sync   /dev/sdd1
       1       8       33        1      active sync   /dev/sdc1
       3       8       65        2      active sync   /dev/sde1
       3       0        0        3      removed

       4       8       17        -      spare   /dev/sdb1

 , , , ,

cray_rus ()

Лучший способ безотказно хранить 100+ Тб данных на нескольких серверах

Здравствуйте! Есть задача хранить много данных на нескольких серверах, и при этом обеспечивать им отказоустойчивость. Хочется максимально эффективную отказоустойчивость, не простым дублированием серверов, а например так как сделано в RAID5, только на уровне серверов. Понимаю что скорей всего это делается с помощью распределенных файловых систем, но вот какие работают как RAID5 или близко к этому?

 ,

lebron23 ()

Пара вопросов по MD RAID5

Из-за нехватки места мне пришлось перейти с RAID1 на RAID5. Так печально получилось, что массив был создан с дефолтными параметрами, а именно: chunk 512K, left-symmetric. В моём случае это означает довольно скромные скорости: до 130 Мб/с чтение и запись. Есть мысль сделать reshape, но тут я подозреваю один подвох — нужно будет изменить параметры stride и stripe для ФС (ext4), откуда возникает вопрос: если я изменю их на ФС с кучей файлов, её быстродействие будет хуже, чем если бы значения были заданы при mke2fs? Конкретно подразумевается изменение размера chunk с 512 до 64 Кб.

Второй вопрос касается stripe_cache_size. Я правильно понимаю, что это только кэш чтения полос, и его увеличение не оказывает влияния на надёжность записи?

 , , ,

GotF ()