LINUX.ORG.RU

как оганизовать архив >1TB


0

0

есть два варианта: использовать LVM или без него.
воросы по варианту с LVM:
1. когда слетает один физический диск, понятное дело что данные на нем будут потеряны, как выяснить какие именно файлы потеряны а от каких осталась цела только половинка на живых дисках?

2. на данном массиве я собираюсь хранить видео архив, у меня уже порядка 2000 файлов от 300МБ до 2ГБ, можно ли как то организовать LVM таким образом, что бы файл не фрагментировался, т.е. полностью ложился на один физический диск и не было такого что пол файла на одном, пол на другом физическом диске?

если без него:

у меня в данный момент все так и сделано, вот только есть одно но:

диски смонтированный следующим образом:

/dev/hda1 /
/dev/sda1 /var/ftp
/dev/sdb1 /var/ftp/pub/video1
/dev/sdc1 /var/ftp/pub/video2
/dev/sdd1 /var/ftp/pub/video3
/dev/sde1 /var/ftp/pub/video4
/dev/sdf1 /var/ftp/pub/video5
/dev/sdg1 /var/ftp/pub/video6
/dev/sdh1 /var/ftp/pub/video7

еще есть папки /var/ftp/pub/new куда обычно льются все новинки, и папка /var/ftp/upload куда собственно происходит заливка, для дальнейшей обработки и перемещения в /var/ftp/pub/new
в данный момент эти папки находятся на физическом диске /dev/sda1 как и все папки видео в которые смонтированны все остальные физические диски. тобишь при выходе из строя /dev/sda1 теряется доступ ко всему архиву, а так же при необходимости замены диска на диск большего объема получаем гемморой.
как вариант смонтировать все диски в папки расположенные на /dev/hda1, но тогда получится что папка upload и new будет на маленьком системном диске, который вообще не хотелось бы лишний раз трогать, а тем более помещать на него самые востребованные папки как new и upload.
выделать отдельный диск под new не ризон, так как забить новинками 400GB все равно не получится.

может кто то подскажет какое нибудь изящьное решение по мимо LVM?
или же ответит на вопросы касаемо LVM.


Для этого используй soft raid(5 or 6), тогда при выходе из строя 1 или 2 винтов соответсвенно данные не потеряются и если есть резервные винты, то система их заюзает.

Винты кстати одинакового размера ?

xnix ★★
()

ее раз по буковкам, что мы имеем и что хотим получить?

mezantrop
()
Ответ на: OFFTOP от aton

ссылку в студию на фильмы тода сразу и поможем :))

fura13 ★★★
()

raid делать не хотел, дорогое удовольствие получается, информация не так критична, да и диски разных размеров - 300, 320, 400ГБ. причем они переодически заменяются на новые, большего размера.
файловый архив находится в локальной сети, и доступа из инета к нему нет.

на данный момент имеем:
2x300GB
2x320GB
4x400GB
2xpromise sata2 4port

в ближайшем будущем планируется замена одного из 320 на 500ГБ

kostil
() автор топика
Ответ на: комментарий от kostil

>raid делать не хотел, дорогое удовольствие получается.

Почему дорогое ?

2x300GB,2x320GB raid5 из них, поверх lvm

4x400GB тоже raid5 , поверх lvm

в результате : 600+1200 mb раздел

xnix ★★
()
Ответ на: комментарий от xnix

получается что 1/4 объема я теряю, поэтому и дорогое удовольствие.

еще минус в том что нет возможности поменять один из хардов на диск большего размера. например 300 на 500 не заменишь.

ну допустим, что это не так важно. тогда вопрос такой насколько хорошо работает софтварный рейд? много ли для него нужно системных ресурсов?

kostil
() автор топика
Ответ на: комментарий от kostil

>получается что 1/4 объема я теряю, поэтому и дорогое удовольствие.

а так при выходе из сторя потеряешь все данные(большую часть, конечно можно восстановить, но для это тебе понадобится еще столько же места, да и восстанавливать будет _очень_ долго).

>например 300 на 500 не заменишь.

а ты сделай так:

400 меняешь на 500, создаешь 2 партиции : 400+100;

300 меняешь на 400, создаешь 2 партиции : 300+100;

100+100 в raid1 , затем lvm и подключаешь к массиву.

>тогда вопрос такой насколько хорошо работает софтварный рейд?

не хуже чем hardware(из средней ценовой категории)

>много ли для него нужно системных ресурсов?

а что за проц(ы) на серваке ?

xnix ★★
()
Ответ на: комментарий от xnix

сервак очень даже простой: материнская плата Intel Desctop(точно модель щас не вспомню), камень - старенький пенек 2.4, 1ГБ памяти, два контроллера promise sata 2. вот собственно и все.

kostil
() автор топика
Ответ на: комментарий от xnix

а что скажете на счет raid4?
не лучше ли его использовать для файлового сервера?
вообще кто нибудь его юзал?

kostil
() автор топика
Ответ на: комментарий от kostil

>а что скажете на счет raid4? не лучше ли его использовать для файлового сервера? вообще кто нибудь его юзал?

R4 - те же грабли, что и в случае с raid0 - страйпингом по дискам или же простейшей конкатинацией. Поскольку для четности в R4 используется отдельный диск, то если этот диск накроется, накроются и все данные. Думаю, что никто этот тип рэйда не использует. Реально в настоящее время используются R0, R1, R5, R1+0, R0+1, теперь некоторые еще и R6, остальные не встречаются. Как самый "дешевый" вариант думаю лучше все же остановиться на R5, иначе вероятность потерять один из 8-и SATAшных дисков достаточно большая. Не страшно?

mezantrop
()
Ответ на: комментарий от xnix

>в результате : 600+1200 mb раздел

тут ошибся. 900+1200 ,будет

xnix ★★
()
Ответ на: комментарий от kostil

>ну допустим, что это не так важно. тогда вопрос такой насколько хорошо работает софтварный рейд? много ли для него нужно системных ресурсов?

Как в линуксе будет работать, если честно не слишком в курсе, но думаю достаточно шустро. Но, например, в оборудовании Sun, хардварных рэйдов практически не встречается. Так, что... :)

mezantrop
()
Ответ на: комментарий от mezantrop

на сколько я понял raid можно сделать только из чистых дисков, а потом залить на них инфу. а вот у меня они почти все забиты до отказу:(
и на сколько я понял лучше их делать по 4 диска одинакового размера и потом все это дело можно в LVM объединить, получим и удобство, и отказоустойчивость не хилую, так получается?

kostil
() автор топика
Ответ на: комментарий от kostil

>а вот у меня они почти все забиты до отказу:(

нужно 3 свободных диска.

создашь raid5 из них так : /dev/sda1 /dev/sdb1 /dev/sdc1 missing ([UUU_])

затем сделаешь lvm, скинешь часть инфы, и затем хотсвэпишь еще один винт ([UUUU])

Тоже самое делаешь со еще 4 винтами (3 высвободить,[UUU_]),делаешь lvm, ресайзишь lvm , ресайзишь фс(лучше использовать ext3), подключаешь последний винт.

>и на сколько я понял лучше их делать по 4 диска одинакового размера и потом все это дело можно в LVM объединить

лучше было бы raid6 из 8 дисков(работоспособность при выходе из строя 2ух винтов), но тогда потеряешь 100*4 mb, т.к. диски должны быть одинакового размера.

xnix ★★
()
Ответ на: комментарий от xnix

>лучше было бы raid6 из 8 дисков(работоспособность при выходе из строя 2ух винтов), но тогда потеряешь 100*4 mb, т.к. диски должны быть одинакового размера.

Оно конечно надежнее, но получается дороже :) А так, два Raid5 в конфигурации 3+1 то, что доктор прописал. Кстати, идея отрезать от 320GB-дисков по 20 ГБ, зазеркалировать их и пустить под корень, мне кажется очень хорошей. Тем более, что тогда получатся 4 свободных сабдиска по 300Г.

mezantrop
()
Ответ на: комментарий от mezantrop

>Поскольку для четности в R4 используется отдельный диск, то если этот диск накроется, накроются и все данные.

Ты бы хоть подумал, прежде чем сказать такое. Если накроется диск с избыточной инф., то данные точно не пострадают. рэйд4 == рэйд5, только он (R4) чуть менee производительный поэтому все исп. R5

sdio ★★★★★
()
Ответ на: комментарий от sdio

>Ты бы хоть подумал, прежде чем сказать такое. Если накроется диск с избыточной инф., то данные точно не пострадают. рэйд4 == рэйд5, только он (R4) чуть менee производительный поэтому все исп. R5

@#$$%^& Тормоз! Глупость сказал. sdio, как всегда прав. Забыли, что я тут наплел про R4 :)

mezantrop
()
Ответ на: комментарий от mezantrop

а какую лучше файловую систему использовать? ext3 или reiserFS? если я буду делать raid5 с LVM.

kostil
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.