LINUX.ORG.RU
ФорумAdmin

RAID 6 вылетели 3 диска. Помогите поднять

 ,


1

4

Ребята еще раз привет

Нужна помощь

Ситуация такая, вылетели 3 диска в RAID 6. Один диск вообще перестал определяться системой (назовем его А), 2 других (В и С) после замены 1ого стали видны и определяются системой.

Диск А заменил на новый и клонировали таблицу разделов с рабочего диска на него.

Теперь вопрос, как мне запустить рейд снова? Да еще есть вероятность, что я случайно провода не в той последовательности воткнул на этих 3х дисках. Ну грубо говоря, тот что был sdf, щас может быть sdg. Первые диски sda sdb sdc sdd sde точно подключены как были раньше. 3 других мог перепутать между собой ((, возможно, хотя вроде старался также все втыкать.

Подскажите как врубить рейд снова?

На данный момент рейд остановлен посредством

#mdadm --stop /dev/md0

#mdadm --assemble --scan
mdadm: /dev/md/0 - assembled from 5 disks. Not enough to run raid.

Подскажите как действовать?

Ответ на: комментарий от dk-

Ну данные же не потеряны. Разделы на 2х других дисках я вижу. После того как я заменил диск, который вообще перестал видеться системой, 2 других тоже стали загружаться нормально в принципе. Но я просто не знаю как заново поднять рейд. Данные на тех двух дисках судя по всему нетронутые. Третий диск, тот что я заменил. Он конечно чистый, туда только скопирована таблица разделов с работающего диска и все.

ITdreamer ()
Ответ на: комментарий от ITdreamer

В принципе мне видится вот этот вариант:

mdadm --assemble --force /dev/md0 /dev/sd[abcdefgh]5

Но как-то стремено )), поскольку я не большой спец в рэйдах

ITdreamer ()
Ответ на: комментарий от ITdreamer
$ sudo mdadm --detail /dev/md0

/dev/md0:
        Version : 1.2
     Raid Level : raid0
  Total Devices : 7
    Persistence : Superblock is persistent

          State : inactive

           Name : vfxserver01:0  (local to host vfxserver01)
           UUID : 95732325:39eedce7:c33d41d7:66c3a1dd
         Events : 5600

    Number   Major   Minor   RaidDevice

       -       8        5        -        /dev/sda5
       -       8       21        -        /dev/sdb5
       -       8       37        -        /dev/sdc5
       -       8       53        -        /dev/sdd5
       -       8       69        -        /dev/sde5
       -       8      101        -        /dev/sdg5
       -       8      117        -        /dev/sdh5

Вот что пока есть. Рейд неактивен.

Подскажите, плиз, что делать?

ITdreamer ()
Ответ на: комментарий от beastie
$ cat raid.status 

/dev/sda5:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 95732325:39eedce7:c33d41d7:66c3a1dd
           Name : vfxserver01:0  (local to host vfxserver01)
  Creation Time : Tue Jan 28 21:45:42 2014
     Raid Level : raid6
   Raid Devices : 8

 Avail Dev Size : 3886454784 (1853.21 GiB 1989.86 GB)
     Array Size : 11659361280 (11119.23 GiB 11939.19 GB)
  Used Dev Size : 3886453760 (1853.21 GiB 1989.86 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
   Unused Space : before=262064 sectors, after=1024 sectors
          State : clean
    Device UUID : 9f344adc:157edfba:6657f101:195f2dda

    Update Time : Tue Jul 14 11:56:07 2015
       Checksum : 69202660 - correct
         Events : 5600

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 7
   Array State : AAAA...A ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdb5:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 95732325:39eedce7:c33d41d7:66c3a1dd
           Name : vfxserver01:0  (local to host vfxserver01)
  Creation Time : Tue Jan 28 21:45:42 2014
     Raid Level : raid6
   Raid Devices : 8

 Avail Dev Size : 3886454784 (1853.21 GiB 1989.86 GB)
     Array Size : 11659361280 (11119.23 GiB 11939.19 GB)
  Used Dev Size : 3886453760 (1853.21 GiB 1989.86 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
   Unused Space : before=262064 sectors, after=1024 sectors
          State : clean
    Device UUID : 8659d2d7:813fcbbf:bbc58638:028b2f47

    Update Time : Tue Jul 14 11:56:07 2015
       Checksum : d2ba6f2 - correct
         Events : 5600

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 2
   Array State : AAAA...A ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdc5:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 95732325:39eedce7:c33d41d7:66c3a1dd
           Name : vfxserver01:0  (local to host vfxserver01)
  Creation Time : Tue Jan 28 21:45:42 2014
     Raid Level : raid6
   Raid Devices : 8

 Avail Dev Size : 3886454784 (1853.21 GiB 1989.86 GB)
     Array Size : 11659361280 (11119.23 GiB 11939.19 GB)
  Used Dev Size : 3886453760 (1853.21 GiB 1989.86 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
   Unused Space : before=262064 sectors, after=1024 sectors
          State : clean
    Device UUID : ae703fb5:5a518320:3906c390:71af713c

    Update Time : Tue Jul 14 11:56:07 2015
       Checksum : 98cf34e1 - correct
         Events : 5600

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 1
   Array State : AAAA...A ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdd5:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 95732325:39eedce7:c33d41d7:66c3a1dd
           Name : vfxserver01:0  (local to host vfxserver01)
  Creation Time : Tue Jan 28 21:45:42 2014
     Raid Level : raid6
   Raid Devices : 8

 Avail Dev Size : 3886454784 (1853.21 GiB 1989.86 GB)
     Array Size : 11659361280 (11119.23 GiB 11939.19 GB)
  Used Dev Size : 3886453760 (1853.21 GiB 1989.86 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
   Unused Space : before=262064 sectors, after=1024 sectors
          State : clean
    Device UUID : c7294a91:207903cd:1fff20d2:1b692dce

    Update Time : Tue Jul 14 11:56:07 2015
       Checksum : f473c847 - correct
         Events : 5600

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 0
   Array State : AAAA...A ('A' == active, '.' == missing, 'R' == replacing)
/dev/sde5:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 95732325:39eedce7:c33d41d7:66c3a1dd
           Name : vfxserver01:0  (local to host vfxserver01)
  Creation Time : Tue Jan 28 21:45:42 2014
     Raid Level : raid6
   Raid Devices : 8

 Avail Dev Size : 3886454784 (1853.21 GiB 1989.86 GB)
     Array Size : 11659361280 (11119.23 GiB 11939.19 GB)
  Used Dev Size : 3886453760 (1853.21 GiB 1989.86 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
   Unused Space : before=262064 sectors, after=1024 sectors
          State : clean
    Device UUID : 3e6a1db1:43888106:f78f01a5:e3eef356

    Update Time : Tue Jul 14 11:56:07 2015
       Checksum : a96c2e89 - correct
         Events : 5600

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 3
   Array State : AAAA...A ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdf5:
   MBR Magic : aa55
/dev/sdg5:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 95732325:39eedce7:c33d41d7:66c3a1dd
           Name : vfxserver01:0  (local to host vfxserver01)
  Creation Time : Tue Jan 28 21:45:42 2014
     Raid Level : raid6
   Raid Devices : 8

 Avail Dev Size : 3886454784 (1853.21 GiB 1989.86 GB)
     Array Size : 11659361280 (11119.23 GiB 11939.19 GB)
  Used Dev Size : 3886453760 (1853.21 GiB 1989.86 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
   Unused Space : before=262064 sectors, after=1024 sectors
          State : active
    Device UUID : a1944405:7d862563:157704c8:fb3eb3bb

    Update Time : Tue Jul 14 11:47:57 2015
       Checksum : e1fe8d64 - correct
         Events : 5594

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 4
   Array State : AAAAAAAA ('A' == active, '.' == missing, 'R' == replacing)
/dev/sdh5:
          Magic : a92b4efc
        Version : 1.2
    Feature Map : 0x0
     Array UUID : 95732325:39eedce7:c33d41d7:66c3a1dd
           Name : vfxserver01:0  (local to host vfxserver01)
  Creation Time : Tue Jan 28 21:45:42 2014
     Raid Level : raid6
   Raid Devices : 8

 Avail Dev Size : 3886454784 (1853.21 GiB 1989.86 GB)
     Array Size : 11659361280 (11119.23 GiB 11939.19 GB)
  Used Dev Size : 3886453760 (1853.21 GiB 1989.86 GB)
    Data Offset : 262144 sectors
   Super Offset : 8 sectors
   Unused Space : before=262064 sectors, after=1024 sectors
          State : active
    Device UUID : 519d8e97:a6f0512b:9dcbffad:0118b562

    Update Time : Tue Jul 14 11:47:57 2015
       Checksum : c9722cdd - correct
         Events : 5594

         Layout : left-symmetric
     Chunk Size : 512K

   Device Role : Active device 6
   Array State : AAAAAAAA ('A' == active, '.' == missing, 'R' == replacing)
ITdreamer ()
Ответ на: комментарий от ITdreamer

Это был вывод команды

$mdadm --examine /dev/sd[abcdefgh]5

Как видно, sdf5 - пустой (это диск, что я заменил).

sdg5 и sdh5 - тоже вроде живы

Какие действия возможны?

ITdreamer ()
Ответ на: комментарий от ITdreamer

Шанс, вроде, есть (разница только в 6 попугаев):

/dev/sda5:
         Events : 5600
/dev/sdb5:
         Events : 5600
/dev/sdc5:
         Events : 5600
/dev/sdd5:
         Events : 5600
/dev/sde5:
         Events : 5600
/dev/sdf5:
/dev/sdg5:
         Events : 5594
/dev/sdh5:
         Events : 5594
Можно попробовать
mdadm /dev/md0 --assemble --force /dev/sd[abcdegh]5
mdadm /dev/md0 --add /dev/sdf5
Но я снимаю с себя всю ответственность! ;) If you brick it, it's your fault!

PS: сделай хотя бы бекапы суперблоков.

beastie ★★★★★ ()
Последнее исправление: beastie (всего исправлений: 3)
Ответ на: комментарий от beastie

Да, вроде поднялся по первой команде на 7ми дисках. Щас идет синхронизация. Подмонтировал рейд, вроде все ок.

А диск щам можно добавить 8й или лучше дождаться пересборки?

ITdreamer ()
Ответ на: комментарий от ITdreamer

Не берусь авторитетно заявлять, но имхо лучше подождать синхронизацию. Всё таки и так высокий I/O. И запас в один диск у тебя ещё есть.

beastie ★★★★★ ()
Ответ на: комментарий от beastie

Спасибо большое )) Выручил советом!

Тогда завтра спокойно его прикручу утром. Пересобираться будет ночью 6 часов.

ITdreamer ()
Ответ на: комментарий от ITdreamer

Ну данные же не потеряны. Разделы на 2х других дисках я вижу.

Это ничего не значит. RAID6 переживает потерю только 2-x HDD. Потеря третьего - это потеря всех данных. Возможный вариант один (видимо, это и прозошло, раз с force поднялся): какой-то сбой c третьим HDD, который не означал потерю данных, или полную потерю (например, питание отпало). При этом, не исключено, что какие-то данные там битые сейчас, после запуска с force, так что данные следует проверить. Но этот успешный запуск - само по себе везение.

AS ★★★★★ ()

Ситуация такая, вылетели 3 диска в RAID 6.

А как это произошло ? Последовательно вылетали, а никто внимания не обращал ?

AS ★★★★★ ()
Ответ на: комментарий от ITdreamer

Рано я обрадовался ((

Запустил пересборку рейда с на 7 из 8 дисков.

На 5м проценте переборки полезли вот такие сообщения I/O error sector 34235236236

А щас еще добавилось:

No md superblock on sdg
No md superblock on sdh

Пробовал перебороть дважды, менял провода и контроллер. То же самое

Ребята, помогайте, плиз!

ITdreamer ()
Ответ на: комментарий от ITdreamer

Переключил все диски на материнку.

До этого 3 диска - те что сбоили были через контроллер подключены.

В материнке 8 разъемов. На 1 - системный ссдшник, 7 других диски рейдовые.

Поставил переборку рейда на 7 дисках. Жду, пока ок вроде.

ITdreamer ()
Ответ на: комментарий от AS

Компы вдруг позависали.

Скорее всего одновременно или очень быстро друг за кружкой. При дальнейшей перезагрузке компа, 1 из трех дисков не определялся. Остальные определялись.

Как уже говорил выше, ставил 2жды на пересборку рейд на тех же дисках но без 1 вылетевшего намертво. Менял контроллер через который были подключены эти 3 диска, провода сразу поменял на новые. Но успеха не было. 2жды останавливалась переборка из за ошибок ввода вывода на этих 2х дисках.

ITdreamer ()
Ответ на: комментарий от ITdreamer

На данный момент все диски 7 из 8 подключены напрямую в материну, идет переборка. 1 разъем отведен на системный диск.

Если переборка окончится успехом, то тогда мне придется выдернуть системный диск, загрузиться с флешки по идее и попробовать добавить 8ой диск.

ITdreamer ()
Ответ на: комментарий от ITdreamer

Ребята, помогайте, плиз!

Начинать надо было с того, что, когда удалось поднять, надо было данные бакапить. А, ещё раньше, забакапить HDD вообще все (посредством dd), а эксперименты проводить на копии, но тут проблема в количестве, понятное дело.

AS ★★★★★ ()
Ответ на: комментарий от ITdreamer

Скорее всего одновременно или очень быстро друг за кружкой.
При дальнейшей перезагрузке компа, 1 из трех дисков не
определялся. Остальные определялись.

Тут надо было угадать, какой HDD отпал последним. Подъём с force не с тем hdd чреват увеличением проблем. И добавлять надо было не два, а поднимать на минимуме HDD: если они отваливались последовательно, то один из живых давно рассинхронизирован, его можно использовать не как HDD в составе старого RAID, а как вновь добавляемый.

AS ★★★★★ ()
Ответ на: комментарий от ITdreamer

Что значит на минимуме ХДД ?

Минимальное количество HDD, при котором массив жив. Для уровня 6 это N-2. То есть, допустим, имеется массив на 5 HDD, соответственно, это 3. Два гарантированно живых, один гарантированно мёртвый. Из двух непонятных надо выбрать тот, который отпал последним, так как именно при его отпадании массив встал. Использование того, который отпал раньше, гарантировано приведёт к проблемам, как минимум, с частью данных. Вот если они отпали одновременно, тогда без разницы. То есть, порушенный RAID6 на пяти дисках следует поднимать на трёх, бакапить, потом добавлять недостающие HDD. У тебя их 8 ? Вот и надо было на 6-и начинать поднимать, без ребилдов и всего прочего. После того, как наступила бы убеждённость в успехе, следовало начинать добавлять недостающие HDD, как новые. Ну и помнить, что на 6-и - это страйп по факту (RAID0),

Как можно пытаться поднять без форса ?

Это если бы необходимый минимум HDD в порядке был (6 штук, в твоём случае, если их всего - восемь). Но он бы должен был и сам подняться.

AS ★★★★★ ()
Ответ на: комментарий от ITdreamer

А как делать бэкап суперблоков ?

Всё, что связано с ФС, можно бакапить с помощью dd, если знаешь, где лежит нужная информация. Это если нет спецсредств. Может, они и есть, не знаю.

AS ★★★★★ ()
Ответ на: комментарий от AS

Итак, свежие новости.

Массив перебрался на 7ми дисках. Из этих 7ми дисков, 2 диска - те что вылетели вслед за первым.

Когда я пытался перебороть на 7ми дисках, где 2 были подключены через доп контроллер, то сборка прошла, но на этапе синхронизации упала. И ругалась на эти 2 диска. Менял и провода и контроллеры, не помогло.

Оставался последний вариант, воткнуть эти 2 диска в последние свободные выходы на мамке. Что я и сделал.

Сборка прошла удачно и синхронизация тоже.

На данный момент рейд жив и работает на 7 дисках из 8. НО есть проблема. Один из 8 входов на мамке щас занят системным диском.

Я планирую щас загрузиться с флешки, и поставить систему на отдельную флешку подключенную через usb. В принципе я это делал раньше, и система прекрасно жила на флешке, поэтому по этому поводу у меня нет опасений.

Далее план, загрузиться в новой системе (которая уже на флешке). Включить рэйд и пробовать добавить 8ой диск. Вход для него как раз освободится.

Какие соображения ребята?

Да и я не очень понял по поводу копирования суперблоков через в dd. Точнее я понимаю, что через него можно это сделать, но как это сделать я не знаю. Если можно, подскажите, как мне забэкапить суперблоки дисков.

ITdreamer ()
Ответ на: комментарий от ITdreamer

Какие соображения ребята ?

А до того с чего грузилось ? Так же с флешки ? В общем, система, с даже деградированным RAID, должна работать. Другой вопрос, что, изначально, грузиться всё должно было или с отдельного раздела не в RAID, или с RAID1. С RAID других уровней ни Grub, ни Lilo грузиться, вроде бы, не научились.

AS ★★★★★ ()
Ответ на: комментарий от ITdreamer

очень интересно. очередной камень в сторону глючных внешних контроллеров. Давай сюда его модель!)

Какие соображения ребята?

по костыльным соображениям, могу предложить: для большого рейда заюзать все 8 портов мат.платы. А систему поставить на raid1 из разных флешек. но гарантий никаких - от большого количества записи флешки подохнут

Deleted ()
Ответ на: комментарий от Deleted

А систему поставить на raid1 из разных флешек.

ОМГ, и это совет типу, у которого избыток контроллеров... я уж молчу про банальное «перенести систему на сабжевые диски».

t184256 ★★★★★ ()
Ответ на: комментарий от t184256

ну, это костыль. Контроллер, как видим (?), не лучшего качества. Что там проглючило, почему диски из рейда вылетели - не известно. А ставить систему на рейд с данными не лучшая идея, имхо. Флешки в печь, на самом деле можно поставить usb-hdd!)

Deleted ()
Ответ на: комментарий от Deleted

Итак, друзья.

Модель контроллера ST-LAB A520.

Итак, вылетело 3 диска из 8. 1 диск вылетел намертво. Неопределялся никак системой, 2 других определялись. Тот что намертво, пробовал подключить к другому компу, тоже не определяется (в общем его в мусорку или на магнитики )))

Однозначно сказать, что это контроллер я не могу. Почему? Первое, что я сделал, заменил контроллер на другой такой же. Проблема не исчезла. Так же ошибки лезли по этим 2м дискам.

Выкинул провода, заменил на новые. Проблема осталась.

Остался один вариант, подключить напрямую 2 этих диска в мать. Что я и сделал. Пока все ок. Рэйд собрался на 7 из 8 дисков, синхронизировался. Я сделал бэкап самых важных данных.

Далее планирую отключить системный диск, обновить биос материнки (старый биос), поставить систему на отдельную флешку (как уже говорил, проблем в этом не вижу, до этого прекрасно все работало с флешки). В освободившийся порт воткнуть 8ой диск и добавить этот диск. Операции опасные, но благо бэкап самого важного я сделал!

Кстати!!! Обратил внимание, что когда я пробовал пересобирать рэйд с дисками подключеными через контроллер скорость пересборки была 80-90 мб/сек. В моем случае это 6-7 часов. Когда поключил все диски напрямую в мать, скорость пересборки была 120-125 мб/сек. И пересобрался за 4 часа.

ITdreamer ()
Ответ на: комментарий от ITdreamer

Вангую дохлый PCIe порт или чипсет матери, поэтому контроллер подглючивает, когда на фул дисками забит. У него все сата порты заняты были?

Deleted ()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от Deleted

Нет только 3 из 4х.

2 внешних тоже свободны были.

У него 4 внутренних и 2 внешних. Заняты были только 3 внутренних.

ITdreamer ()
Ответ на: комментарий от ITdreamer

Не берусь судить. Хорошо, что обошлось все. Сам сталкивался с похожей херней, поэтому следил за разрешением)

А сервер и мать какие?

Deleted ()
Ответ на: комментарий от ITdreamer

Систему поставил на флешку в 16гб

Все диски воткнул в материнку. Теперь все 8 разъемов забиты.

Рэйд подхватился на 7ми дисках из 8ми.

Щас буду добавлять диск.

ITdreamer ()
Ответ на: комментарий от ITdreamer

Добавил 1 диск на 4ТБ. Щас идет синхронизация.

На данный момент задача следующая: постепенно заменить все диски на 2Тб (которые были до этого в сервере) на новые 4Тб диски, тем самым увеличить размер рэйда.

Первый диск пошел. ))

ITdreamer ()
Ответ на: комментарий от ITdreamer

В общем работа движется. Пока вроде все ок.

Система установлена и работает с флешки.

Добавил 8й жесткий диск. На 4ТБ. Все синхронизировалось.

Сегодня заменил еще 2 диска на новые 4ТБники. Щас идет синхронизация.

ITdreamer ()
Ответ на: комментарий от erzent

Да какая разница? 600 там или 450

1) Мать Supermicro X10SAE 2) Проц Xeon E3-1235 3) 16 Гигов оперативки 4) 8 дисков Seagate NAS st4000vn000

Хотите сказать, что этого для этой конфигурации данного БП мало? Пусть даже он 450 выдает.

ITdreamer ()
Ответ на: комментарий от ITdreamer

я бы тебе советовал этот блок питания проверить хорошо, если умеешь, подстраховаться стоит, конечно у тебя и 300 ватт хватит, но проверить этот блок питания стоит.

erzent ☆☆ ()
Ответ на: комментарий от ITdreamer

Рэйд пересобран. На новых дисках. 8 дисков по 4ТБ.

Далее сделал:

mdadm --grow /dev/md0 size=max

Размер рэйда увеличился на максимум. Пошла персборка (кстати, скорость почему-то в 2 раза медленнее, чем была при предыдущих пересборках).

Далее попробовал

resize2fs /dev/md0

Но размер почему-то так и не увеличился.

Система предложила сначала сделать

e2fsch -f /dev/md0

Пока жду окончания пересборки рэйда. Но чей-то боязно запускать e2fsch

ITdreamer ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.