LINUX.ORG.RU

как оганизовать архив >1TB


0

0

есть два варианта: использовать LVM или без него.
воросы по варианту с LVM:
1. когда слетает один физический диск, понятное дело что данные на нем будут потеряны, как выяснить какие именно файлы потеряны а от каких осталась цела только половинка на живых дисках?

2. на данном массиве я собираюсь хранить видео архив, у меня уже порядка 2000 файлов от 300МБ до 2ГБ, можно ли как то организовать LVM таким образом, что бы файл не фрагментировался, т.е. полностью ложился на один физический диск и не было такого что пол файла на одном, пол на другом физическом диске?

если без него:

у меня в данный момент все так и сделано, вот только есть одно но:

диски смонтированный следующим образом:

/dev/hda1 /
/dev/sda1 /var/ftp
/dev/sdb1 /var/ftp/pub/video1
/dev/sdc1 /var/ftp/pub/video2
/dev/sdd1 /var/ftp/pub/video3
/dev/sde1 /var/ftp/pub/video4
/dev/sdf1 /var/ftp/pub/video5
/dev/sdg1 /var/ftp/pub/video6
/dev/sdh1 /var/ftp/pub/video7

еще есть папки /var/ftp/pub/new куда обычно льются все новинки, и папка /var/ftp/upload куда собственно происходит заливка, для дальнейшей обработки и перемещения в /var/ftp/pub/new
в данный момент эти папки находятся на физическом диске /dev/sda1 как и все папки видео в которые смонтированны все остальные физические диски. тобишь при выходе из строя /dev/sda1 теряется доступ ко всему архиву, а так же при необходимости замены диска на диск большего объема получаем гемморой.
как вариант смонтировать все диски в папки расположенные на /dev/hda1, но тогда получится что папка upload и new будет на маленьком системном диске, который вообще не хотелось бы лишний раз трогать, а тем более помещать на него самые востребованные папки как new и upload.
выделать отдельный диск под new не ризон, так как забить новинками 400GB все равно не получится.

может кто то подскажет какое нибудь изящьное решение по мимо LVM?
или же ответит на вопросы касаемо LVM.

Re: как оганизовать архив >1TB

Для этого используй soft raid(5 or 6), тогда при выходе из строя 1 или 2 винтов соответсвенно данные не потеряются и если есть резервные винты, то система их заюзает.

Винты кстати одинакового размера ?

xnix ★★ ()

Re: как оганизовать архив >1TB

ее раз по буковкам, что мы имеем и что хотим получить?

mezantrop ()
Ответ на: OFFTOP от aton

Re: OFFTOP

ссылку в студию на фильмы тода сразу и поможем :))

fura13 ★★★ ()

Re: как оганизовать архив >1TB

raid делать не хотел, дорогое удовольствие получается, информация не так критична, да и диски разных размеров - 300, 320, 400ГБ. причем они переодически заменяются на новые, большего размера.
файловый архив находится в локальной сети, и доступа из инета к нему нет.

на данный момент имеем:
2x300GB
2x320GB
4x400GB
2xpromise sata2 4port

в ближайшем будущем планируется замена одного из 320 на 500ГБ

kostil ()
Ответ на: Re: как оганизовать архив >1TB от kostil

Re: как оганизовать архив >1TB

>raid делать не хотел, дорогое удовольствие получается.

Почему дорогое ?

2x300GB,2x320GB raid5 из них, поверх lvm

4x400GB тоже raid5 , поверх lvm

в результате : 600+1200 mb раздел

xnix ★★ ()
Ответ на: Re: как оганизовать архив >1TB от xnix

Re: как оганизовать архив >1TB

получается что 1/4 объема я теряю, поэтому и дорогое удовольствие.

еще минус в том что нет возможности поменять один из хардов на диск большего размера. например 300 на 500 не заменишь.

ну допустим, что это не так важно. тогда вопрос такой насколько хорошо работает софтварный рейд? много ли для него нужно системных ресурсов?

kostil ()
Ответ на: Re: как оганизовать архив >1TB от kostil

Re: как оганизовать архив >1TB

>получается что 1/4 объема я теряю, поэтому и дорогое удовольствие.

а так при выходе из сторя потеряешь все данные(большую часть, конечно можно восстановить, но для это тебе понадобится еще столько же места, да и восстанавливать будет _очень_ долго).

>например 300 на 500 не заменишь.

а ты сделай так:

400 меняешь на 500, создаешь 2 партиции : 400+100;

300 меняешь на 400, создаешь 2 партиции : 300+100;

100+100 в raid1 , затем lvm и подключаешь к массиву.

>тогда вопрос такой насколько хорошо работает софтварный рейд?

не хуже чем hardware(из средней ценовой категории)

>много ли для него нужно системных ресурсов?

а что за проц(ы) на серваке ?

xnix ★★ ()
Ответ на: Re: как оганизовать архив >1TB от xnix

Re: как оганизовать архив >1TB

сервак очень даже простой: материнская плата Intel Desctop(точно модель щас не вспомню), камень - старенький пенек 2.4, 1ГБ памяти, два контроллера promise sata 2. вот собственно и все.

kostil ()
Ответ на: Re: как оганизовать архив >1TB от kostil

Re: как оганизовать архив >1TB

>а что скажете на счет raid4? не лучше ли его использовать для файлового сервера? вообще кто нибудь его юзал?

R4 - те же грабли, что и в случае с raid0 - страйпингом по дискам или же простейшей конкатинацией. Поскольку для четности в R4 используется отдельный диск, то если этот диск накроется, накроются и все данные. Думаю, что никто этот тип рэйда не использует. Реально в настоящее время используются R0, R1, R5, R1+0, R0+1, теперь некоторые еще и R6, остальные не встречаются. Как самый "дешевый" вариант думаю лучше все же остановиться на R5, иначе вероятность потерять один из 8-и SATAшных дисков достаточно большая. Не страшно?

mezantrop ()
Ответ на: Re: как оганизовать архив >1TB от kostil

Re: как оганизовать архив >1TB

>ну допустим, что это не так важно. тогда вопрос такой насколько хорошо работает софтварный рейд? много ли для него нужно системных ресурсов?

Как в линуксе будет работать, если честно не слишком в курсе, но думаю достаточно шустро. Но, например, в оборудовании Sun, хардварных рэйдов практически не встречается. Так, что... :)

mezantrop ()
Ответ на: Re: как оганизовать архив >1TB от mezantrop

Re: как оганизовать архив >1TB

на сколько я понял raid можно сделать только из чистых дисков, а потом залить на них инфу. а вот у меня они почти все забиты до отказу:(
и на сколько я понял лучше их делать по 4 диска одинакового размера и потом все это дело можно в LVM объединить, получим и удобство, и отказоустойчивость не хилую, так получается?

kostil ()
Ответ на: Re: как оганизовать архив >1TB от kostil

Re: как оганизовать архив >1TB

>а вот у меня они почти все забиты до отказу:(

нужно 3 свободных диска.

создашь raid5 из них так : /dev/sda1 /dev/sdb1 /dev/sdc1 missing ([UUU_])

затем сделаешь lvm, скинешь часть инфы, и затем хотсвэпишь еще один винт ([UUUU])

Тоже самое делаешь со еще 4 винтами (3 высвободить,[UUU_]),делаешь lvm, ресайзишь lvm , ресайзишь фс(лучше использовать ext3), подключаешь последний винт.

>и на сколько я понял лучше их делать по 4 диска одинакового размера и потом все это дело можно в LVM объединить

лучше было бы raid6 из 8 дисков(работоспособность при выходе из строя 2ух винтов), но тогда потеряешь 100*4 mb, т.к. диски должны быть одинакового размера.

xnix ★★ ()
Ответ на: Re: как оганизовать архив >1TB от xnix

Re: как оганизовать архив >1TB

>лучше было бы raid6 из 8 дисков(работоспособность при выходе из строя 2ух винтов), но тогда потеряешь 100*4 mb, т.к. диски должны быть одинакового размера.

Оно конечно надежнее, но получается дороже :) А так, два Raid5 в конфигурации 3+1 то, что доктор прописал. Кстати, идея отрезать от 320GB-дисков по 20 ГБ, зазеркалировать их и пустить под корень, мне кажется очень хорошей. Тем более, что тогда получатся 4 свободных сабдиска по 300Г.

mezantrop ()
Ответ на: Re: как оганизовать архив >1TB от mezantrop

Re: как оганизовать архив >1TB

>Поскольку для четности в R4 используется отдельный диск, то если этот диск накроется, накроются и все данные.

Ты бы хоть подумал, прежде чем сказать такое. Если накроется диск с избыточной инф., то данные точно не пострадают. рэйд4 == рэйд5, только он (R4) чуть менee производительный поэтому все исп. R5

sdio ★★★★★ ()
Ответ на: Re: как оганизовать архив >1TB от sdio

Re: как оганизовать архив >1TB

>Ты бы хоть подумал, прежде чем сказать такое. Если накроется диск с избыточной инф., то данные точно не пострадают. рэйд4 == рэйд5, только он (R4) чуть менee производительный поэтому все исп. R5

@#$$%^& Тормоз! Глупость сказал. sdio, как всегда прав. Забыли, что я тут наплел про R4 :)

mezantrop ()
Ответ на: Re: как оганизовать архив >1TB от mezantrop

Re: как оганизовать архив >1TB

а какую лучше файловую систему использовать? ext3 или reiserFS? если я буду делать raid5 с LVM.

kostil ()

Re: как оганизовать архив >1TB

Я для такого unionfs использую.

ero-sennin ★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.