LINUX.ORG.RU
ФорумAdmin

md raid - как оно?


2

3

Добрый день, я в курсе что я тут уже всем поднадоел, но всё же:

Хочу сделать backup сервер для rdiff-backup утилиты.

Задача: обойтись без аппаратного RAID.

Хочу:

  • Взять два диска (чисто под данные, т.е. без загрузчика).
  • Создать из них raid1 через mdadm
  • Поверх /dev/md0 создать lvm
  • Когда закончится место нужно будет ещё добавлять диски, я добавлю ещё скажем два диска. - Создам /dev/md1 - присоеденю его к lvm, и расширю ФС.

Что нужно обеспечить:

  • консистентность данных при резком пропадании питания (чтоб массив не пересобирался целиком!) - UPS будет, но малоли...
  • в случае чего - увидить данные на дисках в другой системе - т.е. цеплять весь RAID целиком в другую ОС, систему.

Таких серверов планирую собрать несколько (в каждый офис по серверу).

Вопросы:

куда ставить mdadm на весь HDD или на партицию? - Чтобы как можно легче увидить все массивы + lvm + данные на другой системе в случае чего?

mdadm то вообще как? Торт? Или лучше купить аппаратный RAID 3ware на 6-10 тысяч?

ну или может как-то по-другому есть смысл всё организовать?

P.S. речь идёт о нескольких террабайт данных.

★★★★★

Ответ на: комментарий от DALDON

Установил и настроил Ubuntu Server 12.10 как описано в мануале http://testino.ru/main/server/65-sozdaem-bystryy-veb-server-na-ubuntu-server-... Все заработало норм, но после перезагрузки на сайт не войти, пишет «Закрыто удаленным сервером». А по SSH, FTP захожу без проблем. Настройки сети static. Сервер подключен к роутеру Asus. На сервер ставил lighttpd.

Ребята, помогите, пожалуйста. Я тоже чем смогу.

ProtonA
()
Ответ на: комментарий от DALDON

Абривиатуры я не понимаю. в Ubuntu теперь немогу настроить сеть правильно. вернее все сделал, пингует, ssh и ftp работают, а вот на свой сайт не заходит - висит браузер, потом ошибка что сервер не отвечает... Кто-то сталкивался с таким?

ProtonA
()
Ответ на: комментарий от ProtonA

Оооочень расплывчато, конкретнее!
Если хотите помощи, то приложите Логи, Ошибки, Как настроено, а лучше более четко и узко сформировать вопрос.

petav ★★★★★
()
Ответ на: комментарий от ProtonA

Блин, ты в моей теме про RAID спрашиваешь про какой-то сайт... Ну ё маё. Поставь ты винду уже... Или научись понимать аббревеатуры. И грамотно формулировать вопросы. Веб сервер бывает разный. Компьютер это не мешок цемента, тут может быть масса тонкостей.

DALDON ★★★★★
() автор топика
Ответ на: комментарий от true_admin

Настроил bitmap, полёт отличный, два раза жёсткого ребута при записи большого файла из /dev/urandom и /dev/zero - оно выдержало без проблем! Шикарно! Скорость около 60 мегабайт/сек при этом было. Для меня достаточно.

Вопросы такие теперь AndreyKl petav uspen :

Есть несколько веников WD Grean, как они будут жить в mdraid 1? Слышал что в mdraid 5, массив бывает рассинхронизируется, по той причине что они любят засыпать и парковать головы. - В mdraid 1 оно нормально будет шевелиться?

Сейчас сделано так: создана одна партиция вида: /dev/sda1 в стиле MSDOS, ну и /dev/sdb1 в таком же стиле. - Веники по 500 gb, всё супер. Для веников (уже давно купленые лежат WD GREEN 2.5 - 2.0 tb), нужно создавать GPT партиции, и поверх них раскатывать уже mdraid?

Если я создаю примерно так: mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/sdb1 /dev/sdc1 - куда пишутся метаданные? В область партиции /dev/sdb1 /dev/sdc1 ? В конец партиции, чтобы FS можно было примаунтить спокойно без mdadm (ну или в начало, не важно). - Или за пределы партиции? За пределы вроде не должно, но малоли... - Если пишется внутри партиции, значит с GPT не должно возникнуть проблем?

DALDON ★★★★★
() автор топика
Ответ на: комментарий от DALDON

два раза жёсткого ребута при записи большого файла из /dev/urandom и /dev/zero - оно выдержало без проблем!

А каков критерий проверки? Что файлуха не развалилась или что рейд не рассинхронизировался? Рейд и так из-за битмапа выживет, вопрос что будет с файлухой.

Слышал что в mdraid 5, массив бывает рассинхронизируется, по той причине что они любят засыпать и парковать головы.

пруфлинк? Я думаю или ты не понял, или кто-то чушь написал.

true_admin ★★★★★
()
Ответ на: комментарий от true_admin

А каков критерий проверки? Что файлуха не развалилась или что рейд не рассинхронизировался?

Критерий - рассинхронизация RAID, ибо во FreeBSD (gmirror) при таком фокусе происходит ПОЛНАЯ пересборка массива, т.е. оно тупо начинает лить полтора-два террабайта с диска на диск... Тут такого не произошло.

пруфлинк? Я думаю или ты не понял, или кто-то чушь написал.

Да может и так. Но шпинделя у них отключаются. Факт. http://forums.anandtech.com/archive/index.php/t-2190909.html

http://wdc.custhelp.com/app/answers/detail/a_id/996/ - оф сайт говорит можно... Кроме Raid5, то есть только: 0, 1 т.е. всё без XOR логики.

Кстати, на все остальные вопросы я буду рад Вашим коментариям, что я спросил Выше. Про GPT к примеру.

DALDON ★★★★★
() автор топика
Ответ на: комментарий от DALDON

Для веников (уже давно купленые лежат WD GREEN 2.5 - 2.0 tb), нужно создавать GPT партиции, и поверх них раскатывать уже mdraid?

Да, но учти что бы материнская плата поддерживала загрузку с GPT. Кстате до 2T и msdos можно использовать.

За пределы вроде не должно

Не должно. Если мне не изменяет память то mdadm более ранних версий писал в начало раздела, а поздние версии уже в конец.

petav ★★★★★
()
Ответ на: комментарий от petav

Мне не требуется загрузка с этих винтов. Только хранение больших объёмов данных backup. - SAP, 1C, Armo, Архива ПО и прочее.

Надеюсь что пишет в конец...

Очень может быть, что буду мигрировать с FreeBSD на mdadm путём ломания одного из массива RAID1 на FreeBSD, и плавного переноса сперва одного, а затем и другого диска в mdadm.

DALDON ★★★★★
() автор топика
Ответ на: комментарий от DALDON

Надеюсь что пишет в конец...

Кажется последние версии пишут наоборот, в начало. Не могу найти опровержение/доказательство.

petav ★★★★★
()
Ответ на: комментарий от petav


The different sub-versions store the superblock at different locations on the
device, either at the end (for 1.0), at the start (for 1.1) or 4K from the start (for 1.2). «1» is equivalent to «1.0». «default» is equivalent to
«1.2».

YAR ★★★★★
()
Ответ на: комментарий от petav

Я помню что где-то чего то читал, что вроде вначале... Уже сам гуглил, запутался. Но в целом без разницы - если делать в пределах партиции логической. Главное чтоб в случае чего можно было примаунтиться.

DALDON ★★★★★
() автор топика
Ответ на: комментарий от YAR

Ага, в мане mdadm написано. Не очень ясно как в связи с этим его замаунтить без mdadm, через testdisk искать? Вроде как видел мануалы, что mount для таких разделов уже сама шарит во всём. :)

DALDON ★★★★★
() автор топика
Ответ на: комментарий от DALDON

Но шпинделя у них отключаются.

да, но это настраиваемо и не вредит данным. Кроме того подумай в чём разница для винта между raid 1 и raid 5. (у меня, кстати, как раз wd на сервере)

оф сайт говорит можно... Кроме Raid5

это называется маркетинг. Винту пофиг в каком рейде он стоит.

true_admin ★★★★★
()
Ответ на: комментарий от true_admin

Винту безусловно пофиг. Но если он останавливается то контроллер может посчитать его умершим.

И там кстати по второй ссылке ещё много чего интересного написано в плане отличия. Особенно при чтении сбойных секторов - сам правда я пока особо не вникал.

А как настраиваете шпиндель чтоб не тух? Через hdparm или как-то иначе?

DALDON ★★★★★
() автор топика
Последнее исправление: DALDON (всего исправлений: 1)
Ответ на: комментарий от DALDON

если он останавливается то контроллер может посчитать его умершим.

нет, это не остановка, это энергосберегающий режим. Ты сам можешь через hdparm остановить винт и убедиться что он раскрутится обратно при первом обращении. Инженеры не настолько дураки чтобы терять данные при переходе в спящий режим или в режим пониженного энергопотребления. Верь мне, я знаю что говорю, raid5 можно собирать из любых винтов.

по второй ссылке ещё много чего интересного написано в плане отличия. Особенно при чтении сбойных секторов

Не читал, но думаю что там написано что «десктопный» винт будет до последнего пытаться считать, а «рейдовый» достаточно быстро рапортует об ошибке. Кстати, это тоже настраивается через hdparm на винтах wd. Так что если отличие в raid edition только в этом (скорее всего это самое существенное отличие) то это не проблема.

А как настраиваете шпиндель чтоб не тух?

чтобы не парковал головки есть wdidle.exe которую надо пускать из доса. Остальное через всякие hdparm настраивается, но я этого не делаю потому что... и так не уснёт, на сервере постоянно какая-то активность.

true_admin ★★★★★
()
Ответ на: комментарий от true_admin

думаю что там написано что «десктопный» винт будет до последнего пытаться считать, а «рейдовый» достаточно быстро рапортует об ошибке. Кстати, это тоже настраивается через hdparm на винтах wd. Так что если отличие в raid edition только в этом (скорее всего это самое существенное отличие) то это не проблема.

Да, всё верно! Именно таков общий смысл посыла.

У меня активности в рабочее время мало - оно просыпается когда все человеки спят и по кронам начинает ходить по машинкам - собирать что они там набекапили за вечер. - Но и это не страшно, можно не париться?

DALDON ★★★★★
() автор топика
Ответ на: комментарий от DALDON

Но и это не страшно, можно не париться?

Не страшно. Можно, конечно, рассуждать на тему что венники чаще всего ломаются при запуске шпинделя, но... я бы не стал париться. Если винт хороший, он и без остановок годы проработает. А если плохой то и так сдохнет.

true_admin ★★★★★
()
Ответ на: комментарий от DALDON

почитал вашу переписку. что у меня есть дополнить/подтвердить.

1. Полностью согласен с мыслью что хоть какой раид можно строить из любых винтов. По крайней мере я так и делал всегда. проблем не встречал. Обычно у меня раид5. Если дисков мало, раид1, если дисков много, то есть смысл глядеть в сторону раид6, но я не пробовал, у меня больше 4 дисков не бывает, а как мне кажется в эту сторону стоит глядеть начиная с 5-6.

2. По партициям. Я, если мне ничего не нужно особого, просто делаю прямо на sda. Т.е. партиций не создаю. работает нормально. Если же загружаться нужно с этго винта или ещё что, создаю 2 дополнительных партиции (одну «прозапас», итого sda1, sda2, sda3). Так же делал раид на расширенном разделе (sda5, sda6). таблица обычная, не GPT. проблем не было. с GPT не работал.

3. по поводу куда пишет метаданные - мне кажется однозначно в пределах раздела, ибо иначе куда их писать? ведь можно повредить «чужие» данные если писать в другое место. пруфлинков не дам, доку не читал. но в данном случае думаю это мнение единственно возможное.

4. FS получается примоунтить без mdadm, я когда то делал по моему. деталей не помню, но вроде то ли банально offset указывать нужно, то ли просто оно монтируется прямо /dev/sda1 /mnt -t ext4. как то в общем было не сложно это. но деталей не помню.

AndreyKl ★★★★★
()
Ответ на: комментарий от AndreyKl

нет, вру по поводу 4 - это у меня кажется убунта после обновления монтировала раидовский (да ещё и lvm-овский) Раздел как ext4. т.е. она вообще не заморачивалась. .. монтировала диск как так и надо.. из чего я сделал вывод что это должно быть не просто, а очень просто... думаю, так и есть.

AndreyKl ★★★★★
()
Ответ на: комментарий от petav

Спасибо, уже разобрался. Научился смотреть логи, прочитал их и оказалось что после установки proftpd он закрыл права на папки var/log и /var/lib/mysql. От этого и сайты не работали. Тут новое осваиваю, может кто уже знаком, веб-сервер Cherokee. Первое впечатление очень приятное. Быстр в управлении. Все сделал, только не могу понять как в нем виртуальные хосты поднимать под сайты? Вроде все делается в его админке.

ProtonA
()
Ответ на: комментарий от AndreyKl

Кстати. Ubuntu Server 12.10 понимает аппаратный RAID-1 в отличии от Debian 6.0.6 Так что я его установил вообще без проблем!

ProtonA
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.