soft RAID 5 или 6?

Вопрос, сколько времени займет пересборка raid-5 из трех дисков по 1Тб?

Время работы с самым медленным диском.

Неужели при при прочих равных условиях raid-6 из пяти дисков пересоберется быстрее.

В общем случае - примерно так же.

Если есть bitmap, то восстановление быстрое. 3 диска — raid6 делать не стоит.

Время работы с самым медленным диском.

Они одинаковые

В общем случае - примерно так же.

Понял, спасибо.

Если есть bitmap, то восстановление быстрое.

Битмап можно хранить на отдельном маленьком hdd?

3 диска — raid6 делать не стоит.

raid-6 минимум из 5 дисков, как я понял.

Битмап можно хранить на отдельном маленьком hdd?

Да, но он должен быть доступен при сборке массива ядром.

raid-6 минимум из 5 дисков, как я понял.

Нет. Обычный вариант - 4 диска, хотя минимум - 3

Битмап можно хранить на отдельном маленьком hdd?

Да, но он должен быть доступен при сборке массива ядром.

Мои измерения показали, что при использовании настроенной фс (ext4 или xfs) разница в скорости меньше процента для битмапа на диске и в оперативной памяти. Поэтому не еб* себе мозг и делай битмап на диске.

raid-6 минимум из 5 дисков, как я понял.

Нет. Обычный вариант - 4 диска, хотя минимум - 3

да, хотя можно извратиться и сделать 6 рейд на одном диске.

ТС:

1. не выделяй каждый диск целиком под один рейд. Разбей хотя бы пополам, а лучше на 3 части: (swap~объем RAM)-(fast~1/3диска)-(slow~остальное)

2. не забудь про выравнивание

3. используй большие чанки

4. правильно указывай опции создания и монтирования для фс, ибо там есть оптимизация под рейд.

5. sheduler — deadline, setra 2048

raid-6 минимум из 5 дисков, как я понял.

4 диска.

RAID-6 часто сравнивают с RAID-10 (тоже из четырёх дисков). RAID-6 не так сильно убиваем, как RAID-10, но скорость никудышная.

Мои измерения показали...

Я тоже как-то тестил - правда, между внешним и внутренним битмапом. Особо разницы не было.

да, хотя можно извратиться и сделать 6 рейд на одном диске.

Не взлетит :)

1. не выделяй каждый диск целиком под один рейд. Разбей хотя бы пополам, а лучше на 3 части: (swap~объем RAM)-(fast~1/3диска)-(slow~остальное)

2. не забудь про выравнивание 3. используй большие чанки 4. правильно указывай опции создания и монтирования для фс, ибо там есть оптимизация под рейд. 5. sheduler — deadline, setra 2048

Спасибо за рекомендации, буду учить матчасть. Ещё вопрос, если поверх raid я накачу LVM, это скажется на скорости и на геморности восстановления в случае смерти диска.

это скажется на скорости

Немного. Зато удобство в работе.

на геморности восстановления в случае смерти диска

За безгеморность в случае смерти диска у тебя отвечает RAID, LVM - более высокоуровневая прослойка, ей без разницы, что там с диском - был бы жив массив.

Ещё вопрос, если поверх raid я накачу LVM, это скажется на скорости и на геморности восстановления в случае смерти диска.

На скорости не скажется, если не забудешь о правильном выравнивании. А какие проблемы с восстановлением? У тебя же RAID. А если он рассыплется полностью, то хоть с LVM, хоть без него, не восстановишь ничего :)

sheduler — deadline

Категорично. Где-то были обширные тесты с разными комбинациями параметров и планировщиков, и deadline там вроде не блистал. Попозже могу попробовать найти ссылку, если интересно.

А, ссылка была в скрапбуке: http://blog.jamponi.net/2008/07/raid56-and-10-benchmarks-on-26255_10.html

RAID-6 часто сравнивают с RAID-10 (тоже из четырёх дисков). RAID-6 не так сильно убиваем, как RAID-10, но скорость никудышная.

ИМХО, это информация сильно устарела. Причем как в случае хард рейда так и в случае софтового. RAID-6 генерирует более высокую нагрузку на процессор. Но для современных многоядерников это небольшая нагрузка. 4 винта, суммарная скорость записи в 6 рейде будет x2 ~ 140-280 MB/s (5400-10000rpm). Это на порядок ниже пропускной способности процессора. В случае 4х винтов скорость (при оптимальной настроке) будет одинаковая, что на чтение (x4), что на запись (x2).

Категорично. Где-то были обширные тесты с разными комбинациями параметров и планировщиков, и deadline там вроде не блистал. Попозже могу попробовать найти ссылку, если интересно.

У меня (raid10 на двух дисках -p f2) дает выйгрыш примерно на 5% по сравнению с cfq и noop.

За безгеморность в случае смерти диска у тебя отвечает RAID, LVM - более высокоуровневая прослойка, ей без разницы

Да, точно, сообразил уже :).

ссылка была в скрапбуке

Хорошая статья, просветляюсь.

У меня (raid10 на двух дисках

Как это, там же зеркало + страйп, то есть нужно хотя бы 4 диска.

Как это, там же зеркало + страйп, то есть нужно хотя бы 4 диска.

Как же меня это з*бало. software raid тормозит

Как же меня это з*бало.

Не надо так эмоционально реагировать, я не хотел никого раздражать. То что для вас очевидно для меня пока не очень.

Как я понял, ты выделил на каждом из двух дисков по две равные партиции и сделал «raid-10»? Но это не 10 это ананистическая эмуляция.

Как я понял, ты выделил на каждом из двух дисков по две равные партиции и сделал «raid-10»? Но это не 10 это

http://en.wikipedia.org/wiki/Non-standard_RAID_levels#Linux_MD_RAID_10

This offers striping performance on a mirrored set of only 2 drives.

Я понял, не знал о такой фиче. Я склоняюсь к RAID-5, с разбиением на несколько массивов (как ты предлагал выше) + LVM сверху. Из мат. ценностей у меня в наличии 4 hdd wd caviar black по 1 ТБ и одна ssd 128Гб. Систему поставлю на ssd, из 3-х hdd соберу raid-5, один останется на замену. Как то так...

Я так и не понял, за счёт чего получается Raid10 на двух дисках быстрее, чем Raid1? Не подскажите? Мне кажется наоборот, в случае когда сектора на втором диске находятся ближе к внутренней части диска, с них смысла нет считывать данные, так как это будет медленее (раза в два) чем читать с диска, у которого те же данные на внешних секторах.

используй большие чанки

raid-5 на трёх хардах по 1Тб, чанки 128К нормально, или лучше больше?

Нормально. Но это от задач зависит. Я ставлю 1M.

Помни об этом: http://en.wikipedia.org/wiki/RAID_5_write_hole

Помни об этом: http://en.wikipedia.org/wiki/RAID_5_write_hole

Убил. Как я понял при внезапном полном отказе диска вероятность этого явления очень велика. Так как на рейде будут лежать виртуалки, то при таком повреждении виртуальный диск (диски) придёт в негодность. Судя по сноске в конце статьи это баг также есть на raid-1 и raid-6. Получается безопасно можно использовать только raid-10.

Получается безопасно можно использовать только raid-10.

И raid-z. ;)

И raid-z. ;)

Хорошая штука, жалко что в linux этого нет.

write hole проблема всё таки больше теоретического характера, погуглив не нашел описания реальных проблем, только предостережения.

Не в курсе, такой баг с mdadm и raid-10 пофиксили? https://bugs.launchpad.net/ubuntu/ source/mdadm/ bug/285156

Не в курсе.

А ты попробуй проведи для md RAID тесты, описанные здесь: Существенный прогресс в проекте ZFS для FreeBSD (комментарий) и здесь: Существенный прогресс в проекте ZFS для FreeBSD (комментарий)

Намёк понял, BSD это хорошо, но там нет kvm, так что буду лишаться на linux. В рамках линукса посоветуйте FS для размещения виртуалок windows.

BSD это хорошо, но там нет kvm, так что буду лишаться на linux.

RAID, в общем случае, никак не связан с наличием/отсутствием KVM. Хранилище можно создать отдельно и расшарить по известным сторонним ОС протоколам.

В рамках линукса посоветуйте FS для размещения виртуалок windows.

XFS. Так как у неё есть xfsdump/xfsrestore для сохранения/восстановления образа ФС на живую.

Так как у неё есть xfsdump/xfsrestore для сохранения/восстановления образа ФС на живую.

Как будто у ext* нету.

write hole проблема всё таки больше теоретического характера

Это проблема вполне реального характера, но, как пишут специалисты, она решается на уровне ФС, конкретно ext4 и XFS.

Как будто у ext* нету.

Озвучь способ.

dump/restore

Пишут, что таких утилит в Linux нету.

Хранилище можно создать отдельно и расшарить по известным сторонним ОС протоколам.

На имеющемся железе, на raid-5 с FS ext4 я получаю скорость чтения 350Мб/сек, скорость записи 280Мб/сек. Какое сетевое хранилище и на каких протоколах мне обеспечит мне такую скорость?

По ссылке не ходил, но там врут.

~ > ll /sbin/{dump,restore}
-rwxr-xr-x 1 root root 181k Jun 11  2010 /sbin/dump
-rwxr-xr-x 1 root root 217k Jun 11  2010 /sbin/restore

http://ru.wikipedia.org/wiki/InfiniBand

Это прекрасные девайсы, но топик начинается со слов «по бедности нужно», так что будем придерживаться рамок linux и стандартных железок 5 по копеек за кубометр.

Что, на смонтированной Ext4 у тебя dump и restore работают?

dump работает, restore не пробовал. Я вообще предпочитаю rsync, так что…

XFS. Так как у неё есть xfsdump/xfsrestore для сохранения/восстановления образа ФС на живую.

Ты дал мне крайне вредный совет. Во-первых, скорость записи примерно в полтора раза ниже чем на ext4 с опциями монтирования по умолчанию. Во-вторых, внезапное отключение питания, приводит к неисправимым ошибкам fs и raid тут не поможет. Хорошо, что я проверяю все рекомендации. Спасибо, шутку оценил.

внезапное отключение питания, приводит к неисправимым ошибкам fs

Не-не-не, сама XFS очень устойчива к перебоям. Она просто заполняет нулями файлы, которые были открыты на запись.

сама XFS очень устойчива к перебоям. Она просто заполняет нулями файлы

Как то так, виртуальные машины с этой «устойчиваой xfs» больше не стартуют, в файлах-образах действительно нули. Господа, как то это всё не серьёзно, если это админская ветка форума, давайте уважать друг друга, а не давать советы ради лулзов, нехорошо это.

Во-вторых, внезапное отключение питания, приводит к неисправимым ошибкам fs

Сколько лет этой байке, интересно?

Сколько лет этой байке, интересно?

Этой байке, на текущей момент, менше суток, так как я смоделировал все эти гемморои сам, на своём железе.