LINUX.ORG.RU

60-терабайтовый сервер

 , ,


0

2

По мотивам моей предыдущей темы Подбор оборудования для вычислительного сервера, удалось найти знакомого, который занимается видеорендерингом. Гоняю свой софт на его самодельной GPU ферме, пока он в Крыму.

Дико растут выходные данные, которые нужно собирать и потом статистически обрабатывать, за неделю собралось порядка 2.5 ТБ инфы и продолжает расти. По предварительным подсчетам, для нормального анализа нужно будет порядка 60 ТБ информации.

На чем лучше собирать такой сервер и есть ли какие-то дешевые хостинги? В качестве софта конечно же Linux и думаю поставить ZFS.

P.S: Пока навскиду укладываюсь в 4000$ не самых быстрых(5600 оборотов) seagate жд, по 2тб каждый.

P.S 2: Гугл предлагает 4096$/год за 16Тб для частного пользования, cloud на 60ТБ будет стоить 6000$/месяц, аналогично амазон. Интересно как быстро слетят мои винты?



Последнее исправление: Sigrlami (всего исправлений: 1)

обеспечь нормальное охлаждение

anonymous
()

В качестве софта конечно же Linux и думаю поставить ZFS.

В линуксе нет ZFS. А если и есть ZFS то воспользуйся какой-либо родной (читай: проверенной) фс для своих 60ТБ.

Alve ★★★★★
()

http://www.nix.ru/hardware-review/hard-disk-hdd-benchmark-performance.html

HDD 3 Tb SATA 6Gb/s Seagate Barracuda <ST3000DM001> 7200rpm 64Mb
Самый дешёвый на гиг и один из самых быстрых.
На неродные и плохоподдерживаемые ФС - плюнуть. У санок конечно было что-то на 48 кажется хардов и как раз с ZFS, но цена...
Так что смотреть наверное надо на самодел на чём-то вроде http://www.supermicro.com/products/nfo/chassis_storage.cfm

GAMer ★★★★★
()
Ответ на: комментарий от Sigrlami

http://zfsonlinux.org/ а как же это?

А это какая-то реализации с сомнительной патентной и лицензионной чистотой.

Что подразумевается под родной, которая могла бы адекватно работать с таким объемом данных?

60 терабайт это не фантастический объём, любая линуксовая ФС создаст такой раздел. Ext4 до 1 эксбибайта (260 байт) умеет разделы. Цитата: XFS is a full 64-bit filesystem, and thus is capable of handling filesystems as large as a million terabytes.

263 = 9 x 1018 = 9 exabytes

Alve ★★★★★
()
Ответ на: комментарий от Alve

Просто с ZFS я сталкивался на Solaris. мне интересно вот вылетит рейд, то смогу ли я потом нормально восстановить, если будет стоять Ext4. Хотя я полазил по нету в принципе не сильно большой выхлоп от ZFS будет.

Ну то, что объем не фантастический это уж точно, я ж не гугл..:)

Sigrlami
() автор топика
Ответ на: комментарий от dk-

Причем тут оффтопик? Ты откуда здесь такой? Я богомерзкие форточки уже лет 5 в руках не держал и не собираюсь.

Я и не говорю, что это архибольшой размер, но я с таким сталкиваюсь впервые...

Sigrlami
() автор топика
Ответ на: комментарий от Sigrlami

вот вылетит рейд, то смогу ли я потом нормально восстановить

Это намного сильнее зависит от типа рейда и контроллера, чем от ФС на носителях. Ну это так, личный опыт. Если не самый убогий контроллер (не софтовый, само собой), то должно быть всё более-менее ок.

Alve ★★★★★
()

Seagate лучше 7200.

на работе 2 5000 умерло.

походу они вибрации держат плохо.

Slackware_user ★★★★★
()
Ответ на: комментарий от Sigrlami

слюной то не брызгай так сильно. 60тб - это вообще не размер. что бы выбирать фс под него специально. да еще и зфс, к-я под линуксом - кривое поделие.

dk-
()
Ответ на: комментарий от Slackware_user

xfs разваливается под серьезными нагрузкам, по крайней мере на 2.6.32 ядре из lucid'а, поэтому фтопку

Reset ★★★★★
()
Ответ на: комментарий от Sigrlami

мне интересно вот вылетит рейд, то смогу ли я потом нормально восстановить, если будет стоять Ext4

Да.

Deleted
()
Ответ на: комментарий от Reset

Я потому и прошу дать советы, потому что я не знаю всех возможных вариантов, чтоб можно было выбрать правильный.

Hadoop я думал поднимать, если придется ставить еще несколько таких серверов. Пока нет хотя бы этого, я не могу дописать свое ПО и понять насколько ценна выходная инфа в расчете на терабайт.

Sigrlami
() автор топика
Ответ на: комментарий от Reset

Я использую RedHat ские дистрибутивы, а ядро, то вон уже 3.5 вышло.Однако, не читал на форумах красношапошников, чтоб были проблемы с xfs.

Sigrlami
() автор топика
Ответ на: комментарий от Sigrlami

На прошлой неделе поднял кластер elliptics на 6 одинаковых нодах с xfs под данные. Начинаю интенсивную запись и стабильно через 5 минут вылетает случайная нода. Стал разбираться, оказалось, что демон входит в D-state навечно, после убийства становится Zl опять же навечно. И с вероятностью 50% одновременно перестает работать ls на разделе «дохлой» машины. Вылечилось всё это говно переформатирование разделов под ext4. Вот такая вот xfs. После этого я бы не стал использовать её под серьезные задачи, даже на новых ядрах.

Reset ★★★★★
()
Ответ на: комментарий от Reset

про кластер не шло речи, на одиночных машинах со SLES работает как часы, правда нагрузка смешная.

Slackware_user ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.