RAID 6 вылетели 3 диска. Помогите поднять

Разве шестой переживает смерть трех дисков?

Ну данные же не потеряны. Разделы на 2х других дисках я вижу. После того как я заменил диск, который вообще перестал видеться системой, 2 других тоже стали загружаться нормально в принципе. Но я просто не знаю как заново поднять рейд. Данные на тех двух дисках судя по всему нетронутые. Третий диск, тот что я заменил. Он конечно чистый, туда только скопирована таблица разделов с работающего диска и все.

В принципе мне видится вот этот вариант:

mdadm --assemble --force /dev/md0 /dev/sd[abcdefgh]5

Но как-то стремено )), поскольку я не большой спец в рэйдах

$ sudo mdadm --detail /dev/md0

/dev/md0:
        Version : 1.2
     Raid Level : raid0
  Total Devices : 7
    Persistence : Superblock is persistent

          State : inactive

           Name : vfxserver01:0  (local to host vfxserver01)
           UUID : 95732325:39eedce7:c33d41d7:66c3a1dd
         Events : 5600

    Number   Major   Minor   RaidDevice

       -       8        5        -        /dev/sda5
       -       8       21        -        /dev/sdb5
       -       8       37        -        /dev/sdc5
       -       8       53        -        /dev/sdd5
       -       8       69        -        /dev/sde5
       -       8      101        -        /dev/sdg5
       -       8      117        -        /dev/sdh5

Вот что пока есть. Рейд неактивен.

Подскажите, плиз, что делать?

Может взлетит, а может и нет.

Это уже смотрел? https://raid.wiki.kernel.org/index.php/RAID_Recovery

Это был вывод команды

$mdadm --examine /dev/sd[abcdefgh]5

Как видно, sdf5 - пустой (это диск, что я заменил).

sdg5 и sdh5 - тоже вроде живы

Какие действия возможны?

Шанс, вроде, есть (разница только в 6 попугаев):

/dev/sda5:
         Events : 5600
/dev/sdb5:
         Events : 5600
/dev/sdc5:
         Events : 5600
/dev/sdd5:
         Events : 5600
/dev/sde5:
         Events : 5600
/dev/sdf5:
/dev/sdg5:
         Events : 5594
/dev/sdh5:
         Events : 5594

mdadm /dev/md0 --assemble --force /dev/sd[abcdegh]5
mdadm /dev/md0 --add /dev/sdf5

PS: сделай хотя бы бекапы суперблоков.

Да, вроде поднялся по первой команде на 7ми дисках. Щас идет синхронизация. Подмонтировал рейд, вроде все ок.

А диск щам можно добавить 8й или лучше дождаться пересборки?

Не берусь авторитетно заявлять, но имхо лучше подождать синхронизацию. Всё таки и так высокий I/O. И запас в один диск у тебя ещё есть.

Спасибо большое )) Выручил советом!

Тогда завтра спокойно его прикручу утром. Пересобираться будет ночью 6 часов.

Ну данные же не потеряны. Разделы на 2х других дисках я вижу.

Это ничего не значит. RAID6 переживает потерю только 2-x HDD. Потеря третьего - это потеря всех данных. Возможный вариант один (видимо, это и прозошло, раз с force поднялся): какой-то сбой c третьим HDD, который не означал потерю данных, или полную потерю (например, питание отпало). При этом, не исключено, что какие-то данные там битые сейчас, после запуска с force, так что данные следует проверить. Но этот успешный запуск - само по себе везение.

Ситуация такая, вылетели 3 диска в RAID 6.

А как это произошло ? Последовательно вылетали, а никто внимания не обращал ?

Рано я обрадовался ((

Запустил пересборку рейда с на 7 из 8 дисков.

На 5м проценте переборки полезли вот такие сообщения I/O error sector 34235236236

А щас еще добавилось:

No md superblock on sdg
No md superblock on sdh

Пробовал перебороть дважды, менял провода и контроллер. То же самое

Ребята, помогайте, плиз!

Переключил все диски на материнку.

До этого 3 диска - те что сбоили были через контроллер подключены.

В материнке 8 разъемов. На 1 - системный ссдшник, 7 других диски рейдовые.

Поставил переборку рейда на 7 дисках. Жду, пока ок вроде.

Компы вдруг позависали.

Скорее всего одновременно или очень быстро друг за кружкой. При дальнейшей перезагрузке компа, 1 из трех дисков не определялся. Остальные определялись.

Как уже говорил выше, ставил 2жды на пересборку рейд на тех же дисках но без 1 вылетевшего намертво. Менял контроллер через который были подключены эти 3 диска, провода сразу поменял на новые. Но успеха не было. 2жды останавливалась переборка из за ошибок ввода вывода на этих 2х дисках.

На данный момент все диски 7 из 8 подключены напрямую в материну, идет переборка. 1 разъем отведен на системный диск.

Если переборка окончится успехом, то тогда мне придется выдернуть системный диск, загрузиться с флешки по идее и попробовать добавить 8ой диск.

Ребята, помогайте, плиз!

Начинать надо было с того, что, когда удалось поднять, надо было данные бакапить. А, ещё раньше, забакапить HDD вообще все (посредством dd), а эксперименты проводить на копии, но тут проблема в количестве, понятное дело.

Скорее всего одновременно или очень быстро друг за кружкой.
При дальнейшей перезагрузке компа, 1 из трех дисков не
определялся. Остальные определялись.

Тут надо было угадать, какой HDD отпал последним. Подъём с force не с тем hdd чреват увеличением проблем. И добавлять надо было не два, а поднимать на минимуме HDD: если они отваливались последовательно, то один из живых давно рассинхронизирован, его можно использовать не как HDD в составе старого RAID, а как вновь добавляемый.

А можно подробнее об этом?

Что значит на минимуме ХДД?

Как можно пытаться поднять без форса?

А как делать бэкап суперблоков?

Что значит на минимуме ХДД ?

Минимальное количество HDD, при котором массив жив. Для уровня 6 это N-2. То есть, допустим, имеется массив на 5 HDD, соответственно, это 3. Два гарантированно живых, один гарантированно мёртвый. Из двух непонятных надо выбрать тот, который отпал последним, так как именно при его отпадании массив встал. Использование того, который отпал раньше, гарантировано приведёт к проблемам, как минимум, с частью данных. Вот если они отпали одновременно, тогда без разницы. То есть, порушенный RAID6 на пяти дисках следует поднимать на трёх, бакапить, потом добавлять недостающие HDD. У тебя их 8 ? Вот и надо было на 6-и начинать поднимать, без ребилдов и всего прочего. После того, как наступила бы убеждённость в успехе, следовало начинать добавлять недостающие HDD, как новые. Ну и помнить, что на 6-и - это страйп по факту (RAID0),

Как можно пытаться поднять без форса ?

Это если бы необходимый минимум HDD в порядке был (6 штук, в твоём случае, если их всего - восемь). Но он бы должен был и сам подняться.

А как делать бэкап суперблоков ?

Всё, что связано с ФС, можно бакапить с помощью dd, если знаешь, где лежит нужная информация. Это если нет спецсредств. Может, они и есть, не знаю.

Итак, свежие новости.

Массив перебрался на 7ми дисках. Из этих 7ми дисков, 2 диска - те что вылетели вслед за первым.

Когда я пытался перебороть на 7ми дисках, где 2 были подключены через доп контроллер, то сборка прошла, но на этапе синхронизации упала. И ругалась на эти 2 диска. Менял и провода и контроллеры, не помогло.

Оставался последний вариант, воткнуть эти 2 диска в последние свободные выходы на мамке. Что я и сделал.

Сборка прошла удачно и синхронизация тоже.

На данный момент рейд жив и работает на 7 дисках из 8. НО есть проблема. Один из 8 входов на мамке щас занят системным диском.

Я планирую щас загрузиться с флешки, и поставить систему на отдельную флешку подключенную через usb. В принципе я это делал раньше, и система прекрасно жила на флешке, поэтому по этому поводу у меня нет опасений.

Далее план, загрузиться в новой системе (которая уже на флешке). Включить рэйд и пробовать добавить 8ой диск. Вход для него как раз освободится.

Какие соображения ребята?

Да и я не очень понял по поводу копирования суперблоков через в dd. Точнее я понимаю, что через него можно это сделать, но как это сделать я не знаю. Если можно, подскажите, как мне забэкапить суперблоки дисков.

Какие соображения ребята ?

А до того с чего грузилось ? Так же с флешки ? В общем, система, с даже деградированным RAID, должна работать. Другой вопрос, что, изначально, грузиться всё должно было или с отдельного раздела не в RAID, или с RAID1. С RAID других уровней ни Grub, ни Lilo грузиться, вроде бы, не научились.

очень интересно. очередной камень в сторону глючных внешних контроллеров. Давай сюда его модель!)

Какие соображения ребята?

по костыльным соображениям, могу предложить: для большого рейда заюзать все 8 портов мат.платы. А систему поставить на raid1 из разных флешек. но гарантий никаких - от большого количества записи флешки подохнут

А систему поставить на raid1 из разных флешек.

ОМГ, и это совет типу, у которого избыток контроллеров... я уж молчу про банальное «перенести систему на сабжевые диски».

ну, это костыль. Контроллер, как видим (?), не лучшего качества. Что там проглючило, почему диски из рейда вылетели - не известно. А ставить систему на рейд с данными не лучшая идея, имхо. Флешки в печь, на самом деле можно поставить usb-hdd!)

Итак, друзья.

Модель контроллера ST-LAB A520.

Итак, вылетело 3 диска из 8. 1 диск вылетел намертво. Неопределялся никак системой, 2 других определялись. Тот что намертво, пробовал подключить к другому компу, тоже не определяется (в общем его в мусорку или на магнитики )))

Однозначно сказать, что это контроллер я не могу. Почему? Первое, что я сделал, заменил контроллер на другой такой же. Проблема не исчезла. Так же ошибки лезли по этим 2м дискам.

Выкинул провода, заменил на новые. Проблема осталась.

Остался один вариант, подключить напрямую 2 этих диска в мать. Что я и сделал. Пока все ок. Рэйд собрался на 7 из 8 дисков, синхронизировался. Я сделал бэкап самых важных данных.

Далее планирую отключить системный диск, обновить биос материнки (старый биос), поставить систему на отдельную флешку (как уже говорил, проблем в этом не вижу, до этого прекрасно все работало с флешки). В освободившийся порт воткнуть 8ой диск и добавить этот диск. Операции опасные, но благо бэкап самого важного я сделал!

Кстати!!! Обратил внимание, что когда я пробовал пересобирать рэйд с дисками подключеными через контроллер скорость пересборки была 80-90 мб/сек. В моем случае это 6-7 часов. Когда поключил все диски напрямую в мать, скорость пересборки была 120-125 мб/сек. И пересобрался за 4 часа.

Вангую дохлый PCIe порт или чипсет матери, поэтому контроллер подглючивает, когда на фул дисками забит. У него все сата порты заняты были?

Нет только 3 из 4х.

2 внешних тоже свободны были.

У него 4 внутренних и 2 внешних. Заняты были только 3 внутренних.

Может и дохлый PCIe порт. Но понимаешь в чем дело. Я перетыкал в другой порт. Проблема не решилась.

Не берусь судить. Хорошо, что обошлось все. Сам сталкивался с похожей херней, поэтому следил за разрешением)

А сервер и мать какие?

Мать Supermicro X10SAE, проц XEON 4х ядерный (точно не помню какой), 16ГБ оперативы.

Система Debian 8 amd64

Итак обновление BIOS до последней версии на мамке прошло успешно.

Щас ставлю систему на флешку. Debian 8.1

Систему поставил на флешку в 16гб

Все диски воткнул в материнку. Теперь все 8 разъемов забиты.

Рэйд подхватился на 7ми дисках из 8ми.

Щас буду добавлять диск.

Добавил 1 диск на 4ТБ. Щас идет синхронизация.

На данный момент задача следующая: постепенно заменить все диски на 2Тб (которые были до этого в сервере) на новые 4Тб диски, тем самым увеличить размер рэйда.

Первый диск пошел. ))

А у тебя БП какой в такой пепелаце?

Точно не помню щас, завтра посмотрю. Но вроде 800ник

БП: FSP Aurum AS-600 Gold

В общем работа движется. Пока вроде все ок.

Система установлена и работает с флешки.

Добавил 8й жесткий диск. На 4ТБ. Все синхронизировалось.

Сегодня заменил еще 2 диска на новые 4ТБники. Щас идет синхронизация.

круто 450 реальных ватт, ты жестокий тип.

В смысле 600ник это мало или наоборот можно было меньше?

в каким месте там 600? там 550 ватт по маркировке и 450 по факту.

Да какая разница? 600 там или 450

1) Мать Supermicro X10SAE 2) Проц Xeon E3-1235 3) 16 Гигов оперативки 4) 8 дисков Seagate NAS st4000vn000

Хотите сказать, что этого для этой конфигурации данного БП мало? Пусть даже он 450 выдает.

я бы тебе советовал этот блок питания проверить хорошо, если умеешь, подстраховаться стоит, конечно у тебя и 300 ватт хватит, но проверить этот блок питания стоит.

я бы тебе советовал не писать больше в тех. разделы, но ты же всё-равно будешь

Заменено 4 диск по 2тб на новые по 4тб.

Пока полет нормальный. Сегодня - завтра заменю оставшиеся 4 диска.

Рэйд пересобран. На новых дисках. 8 дисков по 4ТБ.

Далее сделал:

mdadm --grow /dev/md0 size=max

Размер рэйда увеличился на максимум. Пошла персборка (кстати, скорость почему-то в 2 раза медленнее, чем была при предыдущих пересборках).

Далее попробовал

resize2fs /dev/md0

Но размер почему-то так и не увеличился.

Система предложила сначала сделать

e2fsch -f /dev/md0

Пока жду окончания пересборки рэйда. Но чей-то боязно запускать e2fsch