LINUX.ORG.RU

Посоветуйте файловую систему для большого раздела с мультимедиа

 


0

3

Конечно же первое, что пришло в голову — это xfs, но вот только на пустом разделе

$ df -h /mnt/big-media
Filesystem      Size  Used Avail Use% Mounted on
/dev/sdc2        20T  389G   20T   2% /tmp/big-media

Быстрый гуглинг показал, что если я откажусь от crc и reflink, то все станет намного лучше.

Вопрос:

  1. Много ли я теряю?
  2. А может вообще лучше lvm? Тем более, что дисков планирую добавить.
Ответ на: комментарий от NyXzOr

Чего? В торрентах же встроенная проверка чексумм

Угу, но у меня был интересный случай. Пожаловались, что качая небольшой торрент с меня уже выкачали x20 от его объема и продолжают качать. Он выглядел нормально, но при проверке оказалось, что в одном из файлов отличался один бит. Как и когда это случилось не знаю, но qbittorrent почему-то раздавал его в таком виде, клиент проверял сумму, отбрасывал и качал эту часть в бесконечном цикле.

altwazar ★★★★★
()
Ответ на: комментарий от altwazar

что в одном из файлов отличался один бит

А torrent был создан с целым битом? То есть у тебя самого не было 100% скачанного торрента, выходит.

Если я скачал с торрента фильм, изменил в нем пару байт рандомно в середине. Скинул его другу по почте телеге. Файловая система с чек-суммой у него заругается или у меня? Или ни у кого? Заругается плеер и если он захочет на ту же раздачу встать, верно?

NyXzOr ★★★★★
()
Последнее исправление: NyXzOr (всего исправлений: 3)
Ответ на: комментарий от NyXzOr

А torrent был создан с целым битом? То есть у тебя самого не было 100% скачанного торрента, выходит.

Торрент этот был скачан, был 100% и год раздавался нормально. Потом что-то случилось и на диске один байт изменился в файле, а qbittorrent, по какой-то причине, этого не заметил и продолжил раздавать уже битый кусок остальным. Что там на низком уровне в qbittorrent происходит я не знаю, для меня это было неожиданностью.

Файловая система с чек-суммой у него заругается или у меня?

Если у тебя внезапно изменится чексумма файла, то будет ошибка при попытке считать файл и ты его не отправишь.

altwazar ★★★★★
()
Ответ на: комментарий от altwazar

один байт изменился в файле, а qbittorrent, по какой-то причине, этого не заметил

Торрент-клиенты не прверяют чексуммы торрентов, которые они уже отметили завершёнными и правильными. То есть, ты закончил его качать, чексумма проверилась, и файл начал сидироваться, затем файл повредился, но клиент считал его нормальным — ведь он до этого сверял чексумму. Просто так время от времени клиенты этого дополнительно не делают, если их специально об этом не попросить. И это было бы жесть, если бы делали — прикинь каждый день ворочать несколько терабайт на HDD и чексуммы считать (это почти целый день бы и занимало). Если есть сомнения в железе, может иметь смысл периодически делать Force Recheck на все торренты. Или отдельно от клиента сохранить .md5 файлы и по cron’у периодически проверять — тоже вариант, более универсальный.

CrX ★★★★★
()
Ответ на: комментарий от CrX

Если есть сомнения в железе, может иметь смысл периодически делать Force Recheck на все торренты. Или отдельно от клиента сохранить .md5 файлы и по cron’у периодически проверять — тоже вариант, более универсальный.

Тут просто нет смысла использовать что-то помимо btrfs/zfs. Принудительная проверка через торрент клиент слишком затратная по времени операция, во время которой он толком не работает. При большом количестве торрентов она может несколько дней занять.

altwazar ★★★★★
()
Ответ на: комментарий от CrX

Обычный RAID, скажем, с помощью mdraid, тоже решает проблему.

У меня путь был mdraid -> xfs + mergerfs -> btrfs (без рейда).

raid 0 увеличивает масштабы урона при выходе из строя диска до неприемлемого уровня, при этом, в случае с торрентами он даже негативно сказывается на скорости доступа к файлам под нагрузкой.

raid 5 так же не зачищает полностью, при этом под нагрузкой от торрентов стоит комом и не позволяет удобно комбинировать диски.

mergerfs + xfs - как я мерджер не крутил, а приемлемую производительность получить не вышло. При этом для минимизации урона при потере диска пришлось прикручивать свои костыли для распределения файлов, а так же вылезла потребность контроля чексумм.

так как btrfs просто лучше для такой задачи и у меня уже были костыли под merger я перешел на схему, когда все диски отдельно и торренты после закачки распределяются по ним в зависимости от % свободного места. Полностью доволен результатом.

altwazar ★★★★★
()