LINUX.ORG.RU

Выбор FS для торрент-сервера: 10Tb, hard-RAID0 (ext4 xFS ZFS)

 , , , ,


1

4

Буду благодарен за аргументы в ту или иную сторону из своего опыта.

У меня все печально, лишних денег нет. Надоело бенчмар-чить варианты настроек, прошу помощи. Задачи домашнего сервера (читай, с возможными отключениями питания и перебоями канала): здоровенный нагруженный торрент-сервер и домашняя файло-помойка. В недалеком будущем добавятся виртуалки с веб-проэктами.

- raid 0 на внешнем контроллере HP P400i с 512оперативки - raid состоит из 8и 2Тб WD-шных обычных sata-шных дисков (десктопные, а не ентерпрайз). - система на втором контроллере (тоже hp p400) — что исключает влияния рейда на работу системы. - 8Гб оперативки в HP G5 сервере (нет, она слишком дорого стоит, чтоб докупать). - весь раздел работает с дебианом, шифруясь через LUKS

Сейчас закончил извращаться с RAID-5, опечалился скоростью записи в 10 раз ниже и буду пересобирать рейд.

В принципе, не могу пожаловаться на ext-4 (а с появлением бесперебойника или батарейки в контроллер и журнал отключится). Но коллеги крайне категорично советуют XFS. Учитывая, что большие файлы будут перманентно залетать из торрента и часто удаляться — фрагментация со временем угробит скорость работы.

п.с. да, спасибо, но только принимаю соболезнования по поводу отсутствия средств на 64гб оперативки и использованию 12*5 жестких в режиме 24*7.


Это не торрент-сервер, это у тебя торрент-клиент. На торрент-серверах, по идее, нет контента.

targitaj ★★★★★
()

Он у нас домашний

домашнего сервера

raid 0 на внешнем контроллере HP P400i с 512оперативки - raid состоит из 8и 2Тб WD-шных обычных sata-шных дисков (десктопные, а не ентерпрайз). - система на втором контроллере (тоже hp p400) — что исключает влияния рейда на работу системы. - 8Гб оперативки в HP G5 сервере

А вы точно хотите разместить это всё дома? Вы живёте в этом самом доме? Может лучше арендовать сервер или место в клоакейшене?

Camel ★★★★★
()
Ответ на: комментарий от targitaj

Seeder

Это не торрент-сервер, это у тебя торрент-клиент. На торрент-серверах, по идее, нет контента.

Может быть человек хочет обслуживать superseeder?

Camel ★★★★★
()
Ответ на: комментарий от targitaj

> Это не торрент-сервер, это у тебя торрент-клиент. На торрент-серверах, по идее, нет контента.

согласен

amplua
() автор топика
Ответ на: Он у нас домашний от Camel

> А вы точно хотите разместить это всё дома? Вы живёте в этом самом доме? Может лучше арендовать сервер или место в клоакейшене?

Потому и криптография — от греха подальше. Да и слишком уж часто пока что провожу генетические эксперименты с ним, ездить в дц далеко и дорого. Пока играюсь, будет стоять.

amplua
() автор топика
Ответ на: комментарий от vertexua

> Вот тут процентов 70 подходит. Не знаешь что тебе нужно? Тогда Ext4/ReiserFS

Благодарю за наставление. И прошу воздержаться от последующих комментариев в данном треде. Спасибо

Буду благодарен за аргументы в ту или иную сторону из своего опыта.

amplua
() автор топика

Вот мой аргумент - если человек не знает из-за какой конкретной фичи ему нужна какая-то фс, то логично использовать самые распространенные ФС. Любые рассуждения о «скорости», «стабильности» и «как полет» - спекуляция и разброс мнений будет такой же как по поводу количеству соли в супе

vertexua ★★★★★
()

Выбор между zfs и всем остальным это выбор ОС, где будет торрент-клиент, а там где кошерный zfs, как правило есть только transmission. Если хочешь другой клиент на линуксе, то выбор в основном между ext4 и xfs, тут разница в том, что preallocation где-то не работает так как нужно, тут я сам не до конца изучил тему. Ну и дефраг на xfs важен, если файлы закачек нужно быстро перемещать куда-либо. У меня страйп из двух дисков на zfs из-за фрагментации скатился до 30-40 мб/с

Lordwind ★★★★★
()
Ответ на: комментарий от Ien_Shepard

> raid 0 из 8 дисков ? Это серьезно ?

Да :) Файлопомойка и торрент не требуют отказоустойчивости как таковой. Потеря данных не вызовет проблем.

amplua
() автор топика
Ответ на: комментарий от vertexua

Аргумент

Вот мой аргумент - если человек не знает из-за какой конкретной фичи ему нужна какая-то фс, то логично использовать самые распространенные ФС. Любые рассуждения о «скорости», «стабильности» и «как полет» - спекуляция и разброс мнений будет такой же как по поводу количеству соли в супе

Хороший аргумент, поддерживаю. Нет просто «лучшей ФС». <толстота>Есть Reiser4 и файловые системы включенные в Linux, которые пытаются с Reiser4 соревноваться.</толстота>

Camel ★★★★★
()
Ответ на: комментарий от Lordwind

> Выбор между zfs и всем остальным это выбор ОС, где

Спасибо за мнение. Тут корневой дебиан (а торрент-клиенты из-под виртуалок адекватно не работают в силу обращений к разделам не напрямую), под него только трансмишн. В проблемности/недостаточности остальных убедился на собственном опыте. Потому и возник XFS в списке.

Если правильно понял, то 30-40мб/с это чтение??? При привычной скорости !записи! 100+МБ/с это крайне расстраивает.

amplua
() автор топика

Да, линейная скорость на чистом массиве была почти удвоенной, 150-200 мб/с, из-за фрагментации сейчас чтение пляшет от 30 до 80 мб/с, но мне по барабану.

В чем проблема виртуалок? Я как раз перевел торренты в гостевую систему, торрент-пул на nfs. Просто увеличил дисковый кеш до 0.5-1 гб, чтобы диск не дрюкать часто, это же по идее и фрагментацию снизит.

Lordwind ★★★★★
()
Ответ на: комментарий от Lordwind

> В чем проблема виртуалок?

Тут слишком много зависит от конкретных условий, чтоб дать однозначный ответ. Например, у меня (когда были 2 рейда: система и все остальное) на одном рейд-контроллере возникал следующий конфликт: - торрент из гостевой ОС отправляет пачку даты на запись, забивает оперативку контроллера и... и система 10 секунд не может достучаться до своего массива (т.е. ВИСИТ).

Кстати, даже в корневой ОС проблемно ограничивается — надоело возиться, вынес этот рейд на отдельный контроллер.

amplua
() автор топика
Ответ на: > В чем проблема виртуалок? от amplua

торрент в гостевой ОС

И, да, разница в скорости работы и нагрузке (в общем случае) торрент-качалок в гостевой ос и корневой — огромная.

amplua
() автор топика
Ответ на: комментарий от anonymous

> tmpfs

если уж знаете какой-то извращенный способ темпФС довести до состояния, годного для использования под файло-хранилища... :) интересно

amplua
() автор топика
Ответ на: > Есть Reiser4 и файловые от amplua

Почему Reiser4 не в Linux

Кстати, любопытная статья-фак про нее же самую:

Статья состоит полностью из субъективных мнений и натяжек. Постоянно упоминается какое-то непонятное «качество кода», которое непонятно как измерить и в каком месте к Reiser4 есть претензии. Ещё когда Ганс был на свободе он показывал, что качество Reiser4 гораздо выше чем, например, BtrFS. При этом последнее уже было включено в Linux, а Reiser4 нет. Когда Ганс уже сидел в тюрячке Шишкин на примерах показывал, что BtrFS ни на что не годится, а люди которые её развивают не имеют понятия что делают, но это не повод ни выбрасывать BtrFS, ни включать Reiser4. А последний вопрос в ФАКе вообще классическое «спердобейся».

Camel ★★★★★
()

1. Немалое количество винтов говорит в пользу XFS и ZFS.
2. 10 ТБ и 8Гб оперативки несовместимы с ZFS. Оперативки слишком мало на такой объем, да и 90% её функционала в Вашем случае не нужны.

Вывод: используйте XFS.

chaos_dremel ★★
()

И ещё:
1. Я не совсем понимаю зачем Вам большая скорость записи для торрентов. Даже 1000Мбит это 125МБ теор максимума на запись. Если уж так необходима очень высокая скорость записи - сделайте RAID10 - теряет в объеме, но скорость записи отличная защита от дискфейлов хоть какая-то.
2. У вашего контроллера наличиствуют 3G SAS и 1.5G SATA. Ввиду того, что SATA диски можно подключать в SAS разъемы, рекомендую подключить их именно в SAS дырки, ибо современные 7200 диски дают 150-170+МБ на пике, да и сами 150МБ на 1.5G разъемах никто никогда не видел.
3. Почитайте про кеши, барьеры и контроллеры с батарейкой. Много интересных подробностей всплывает: http://xfs.org/index.php/XFS_FAQ#Q:_How_can_I_tell_if_I_have_the_disk_write_c...

chaos_dremel ★★
()
Последнее исправление: chaos_dremel (всего исправлений: 2)
Ответ на: комментарий от vertexua

Ext4/ReiserFS 2 мёртвые файловые системы, одну перестали разрабатывать и разработчики ушли пилить btrfs, у второй давно сидит разраб.

old_bastard_
()
Ответ на: комментарий от dk-

У RAID5 всё очень хорошо с чтением. А вот запись да, медленная. И топикстартер как раз на неё жалуется.
Да и торрент клиент должен кешировать раздачи. Вот у меня qbittorent на торрент папке в 1ТБ и скорости раздачи 5-10МБ/с кушает 500-1000МБ оперативки под кеши, зато нагрузка на диск низкая.

chaos_dremel ★★
()
Ответ на: комментарий от Lordwind

У трансмиссии, и в других наверное тоже, есть параметр сколько копить в памяти перед тем, как сбрасывать на диск.

EvgGad_303 ★★★★★
()

xfs для linux
zfs для остальных

reprimand ★★★★★
()
Ответ на: комментарий от EvgGad_303

а ты сделай как один it директор из питера, 1 zvol на 300 тб(он правда это сделал с lvm, у него система думает, что у неё один огромный lvm более чем на 300 тб.

old_bastard_
()
Ответ на: комментарий от chaos_dremel

Спасибо

спасибо за ссылкую Уже знаком с барьерамиб журналистичностью и батарейкамиб ноююю вдруг что-то новое почерпну ) Жесткие включены именно напрямую, правда, через шрунки напрямую в разьем для шлейфа.

В данный момент раздачб которых «жалко» — под 8Тбю Если б существовал способ запихнуть в 8*2тб 10тб кроме нулевого рейдаю мир был бы лучше :) Что касается пятого рейда, то с ним возникают проблемы ПОМИМО низкой скорости записи. Это обусловлено слабым контроллером — он попросту не справляется с нужной мне скоростью.

В данный момент задач кроме файлопомойки и торрента нет. Но учитывая планы — будет как минимум плохим тоном пригружать и без того слабые ресурсы шуршанием ФС или переносом дискового кеша в оперативку.

И еще раз — система стоит на отдельном контроллере на сказевых винтах и испытывает 5% загрузки.

Вопрос в том, есть ли смысл переползать на ЧАЫ (сам ее достаточно не колупал) или другую ФС для таких задач

amplua
() автор топика
Ответ на: raid 0 из 8 дисков от int13h

увы

Люди разные бывают, все верно )) Но в моей ситуации это логичное решение. Рейд заполнен на 60+%, а единственный другой вариант (5-ка) показала себя недостаточно быстрой. Что касается логичного вопроса о странности такого рейда, ответ прост: у меня нет других вариантов. Разве-что отложить на полочку неиспользуемые пока диски :)

amplua
() автор топика

спасибо за время и советы.

Остановился на ext4 и сейчас отправляюсь перебивать рейд. Осталось вспомнить как же разместить сдвиг и размер страйпа для идеальной разбивки. Причиной сему послужило сравнение производительности от далекого 2010 года ниже:

http://www.ep.ph.bham.ac.uk/general/support/raid/raidperf20.html

amplua
() автор топика
Ответ на: Спасибо от amplua

Если контроллер не справляется с RAID5 - можно сделать четыре RAID0 из двух дисков (так-как JBOD он не умеет, насколько я понимаю) и силами mdadm сделать RAID5 из четырёх массивов - 12ТБ реального места. Еще слышал вариант сделать восемь RAID1 в каждом с одним отсутствующим диском. И на них в системе уже колдовать. Но такого не пробовал.

chaos_dremel ★★
()
Ответ на: комментарий от chaos_dremel

+5

Да, разумеется обдумывал такой такие варианты. Но потом появилась мысль о «проблемности» текущих десктопных жестких и танцами с бубном в случае такой конфигурации. Ну и вдобавок — грузить систему софтовым рейдом не имеет смысла. Но за замечание спасибо — мало кто догадался бы )

amplua
() автор топика
Ответ на: комментарий от chaos_dremel

2. У вашего контроллера наличиствуют 3G SAS и 1.5G SATA. Ввиду того, что SATA диски можно подключать в SAS разъемы, рекомендую подключить их именно в SAS дырки

Чёрт, пока догадался, что имеется ввиду - голову сломал :) У контроллера нет отдельных дырок под SAS и SATA. Есть только SAS, куда можно вставить SATA (обратная совместимость)

Deleted
()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от Deleted

Ага, уже увидел и даже мануальчик почитал. Там по картинке и описанию непонятно было есть ли у него отдельные SATA дырки или нет.

chaos_dremel ★★
()
Ответ на: комментарий от Deleted

ОК. Будем знать. Я в своих руках не передержал столько контроллеров, чтобы утверждать обратное.

chaos_dremel ★★
()
Ответ на: комментарий от Deleted

бывает

Некоторые все-же обзывают рейд-контроллерами все, что знает термин «массив», а там и сас и сата и что-угодно )) А в виду обратной совместимости делать дырки отдельно для сата...было бы любопытным решением :)

amplua
() автор топика

журнал отключится

Такому оптимисту и btrfs не страшен :-)

anonymous
()
Ответ на: комментарий от chaos_dremel

Разные нагрузки, конкретно на этом бэкапы. Есть файлопомойки на 10тб+ с 4гб.

А то бекапы хранить и 8 гб хватит.

Раздавать торренты и 4гб хватит.

EvgGad_303 ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.