LINUX.ORG.RU

Какую ФС лучше использовать для архивного хранения 25Тб данных (аниме)?

 , ,


3

3

Собственно, списал себе с работы хороший десткоп (i7, 16Gb RAM, 650W БП), а также целую ораву хардов хитачевских на 2Тб (16 штук). Думаю поставить корпус второй рядом и пронять в него из осного питание и SATA от PCIe контроллеров, т.к. места не хватает.

Но вопрос не в этом: в чём лучше хранить много больших файлов неизменяемых? Суть в том, что сейчас коллекция аниме хранится на LTO5-лентах, поэтому мне проще выкачать заново, чем восстановить. Хочется скопировать всё на харды и наслаждаться случайным доступом.
Я склоняюсь к ZFS с RAID-Z2 или к EXT4 на mdraid RAID6+hotswap. Также весьма важно, чтобы при одном потоке чтения и одном потоке записи ФС не подвисала (чтобы VLC не лагал).

На ЛОРе говорили, что под видео-файлы лучше XFS.

targitaj ★★★★★
()

аниме

VLC

Хорошая попытка, но нет.

anonymous
()

списал себе с работы хороший десткоп

Ну не м**** ли?

Мог бы купить всего 1000 BD-R за 15 000руб. И было бы и так почти random-access.

Tanger ★★★★★
()

Люстру используй.

Deleted
()
Ответ на: комментарий от i-rinat

В теории нет, а на практике есть. RedHat например указывает как максимальный протестированный (и рекомендуемый) ими объем 50ТБ (при том что для XFS - 500 ТБ), ну и википедия указывает:
Max. volume size: 1 EiB, 16 TiB (recommended).

chaos_dremel ★★
()

У тебя ровно два варианта: mdadm+XFS и ZFS
P.S. Если любишь эксперементы, то попробуй ZFS(ZVOL)+XFS

chaos_dremel ★★
()

Для себя я выбрал XFS в качестве архивной фс, т.к. минимальные накладные расходы и надежность. Можно даже журнал в ней выключить. Про ZFS ничего не скажу, не пробовал.

Radius ★★★★
()

А какое это имеет значение? Фрагментации от видео-файлов не дождёшься. Высокая скорость доступа не нужна, битрейта хватает и ладно. Хоть NTFS ставь. Я бы поставил xfs или ext4, смотря что стоит по умолчанию.

Legioner ★★★★★
()
Ответ на: комментарий от sudopacman

Просто ты омежка, а у тса сразу на аве написано, что серьёзный человек.

anonymous
()

Я смотрю Ктулху у нас специалист немножко более чем наивысшего разряда...

Успевает и ЛОРить и с работы списывать новое железо...

КТож спишет такие мощности?

А чо такой дерзкий и в Гугле не работаешь?

Deleted
()

XFS

Для больших файлов то что доктор прописал

anonymous
()

Какую ФС лучше использовать для архивного хранения 25Тб данных (аниме)?

аниме

Рекомендую /dev/null

Psych218 ★★★★★
()

А если не секрет, сколько весят торрент-файлы от этого аниме?

anonymous
()

Лучше скажи такую работу, где 2ТБ харды списывают...

Долблюсь в глаза, выше по треду нашел.

l0stparadise ★★★★★
()
Последнее исправление: l0stparadise (всего исправлений: 1)

ты это всё пересмотрел или просто сваливаешь в кучу что попадает под руку?

q11q11 ★★★★★
()
Ответ на: комментарий от q11q11

ты это всё пересмотрел или просто сваливаешь в кучу что попадает под руку?

Пересмотрел. Я даже Валдиса троллил, что он не всё видел.

ktulhu666 ☆☆☆
() автор топика

чтобы VLC не лагал

NTFS. Без вариантов.

anonymous
()

mdadm raid6 с hotspare + lvm + xfs с crc (mkfs.xfs -m crc=1)

DoTheGNU
()

уважаемый, в качестве эксперимента вы можете поднять на своих серверах с 2тб винтами ceph, и закачать все аниме через radosgw s3-совместимый интерфейс. обеспечите себе два преимущества

1 - легкое добавление новых жестких дисков в существующие сервера, я так полагаю, на работе и дальше можно списывать 2тб и более жесткие диски.

2 - легкое извлечение убитых жестких дисков из существующих серверов. я так полагаю, что 2тб жесткие диски уже имеют изношенный ресурс.

минусы - нужно 3 сервера минимум. ну я так полагаю, еще машинки с работы можно списать.

Nurmukh ★★★
()

У ZFS только два недостатка:

1. Идеология похожа на вложеные рейды, то есть про диски разного размера там не очень сильно беспокоились. Обычно советуют разбить все диски на разделы одинакового размера и дальше вручную выбирать, что с чем зеркалировать.

2. Не предусмотрено уменьшение числа дисков. Обычно советуют создать новое хранилище с нуля и туда перенести.

На первое время пофиг, но диски-то не вечные.

anonymous
()

Подними лучше зеркало LibGen, зачем аниме забивать.

mix_mix ★★★★★
()
Ответ на: комментарий от Nurmukh

я так полагаю, на работе и дальше можно списывать 2тб и более жесткие диски

ага

что 2тб жесткие диски уже имеют изношенный ресурс.

да, но не все

минусы - нужно 3 сервера минимум. ну я так полагаю, еще машинки с работы можно списать.

Минусы ещё в том, что там только полная репликация, а не RAID. Моё аниме не настолько критично. В случае ZFS RAID-Z2 извлечение и добавление дисков тоже не очень сложное.

ktulhu666 ☆☆☆
() автор топика
Ответ на: комментарий от ktulhu666

1. Диски другой модели могут оказаться на несколько килобайтов или мегабайтов меньше.

2. Плавно перейти на диски большего размера - геморрой.

3. Если потребность в дисках (в штуках) уменьшится - геморрой.

Если бы BTRFS наконец отладили - там с этим проще.

anonymous
()
Ответ на: комментарий от anonymous

Обычно советуют создать новое хранилище с нуля и туда перенести.

Но разве ZFS это не суровый ЪЪ интерпрайз?

dk-
()
Ответ на: комментарий от anonymous

1. Диски другой модели могут оказаться на несколько килобайтов или мегабайтов меньше.

Для этого опытные админы 500-1000 Мб оставляют незанятыми. Не знал, анон, да? :)

2. Плавно перейти на диски большего размера - геморрой.

А в каком случае не геморой при использовании RAID, а не репликации или JBOD?

3. Если потребность в дисках (в штуках) уменьшится - геморрой.

См. выше.

Если бы BTRFS наконец отладили - там с этим проще.

Каким раком?

Если рассматривается вариант уменьшения потребностей, то можно юзать mhdd (ещё есть какой-то ядерный аналог) для раскидывания файлов по разным ФСкам, которые поверх нескольких RAID'ов запущены, которые в LVM лежат. При уменьшении потребностей переносим все файлы из удаляемого RAID'а и меняем диски на меньшие. Если вопрос о переходе на харды меньшего размера без опасности превратить данные в тыкву, то это только во варианте с репликацией доступно (xtreemfs, ceph и т.д.).

ktulhu666 ☆☆☆
() автор топика
Ответ на: комментарий от dk-

Но разве ZFS это не суровый ЪЪ интерпрайз?

А Вы, таки, оптимист. :) Особенный ынтерпрайз там начинается, когда пул на 95% забит. :)

ktulhu666 ☆☆☆
() автор топика
Ответ на: комментарий от ukr_unix_user

если /dev/null поддерживает зеркалирование

man tee :-)

anonymous
()
Ответ на: комментарий от ktulhu666

Я использую aufs3, это как раз ядерный аналог mhdd. Преимущества такого подхода по сравнению с рейдом в том, что данные при смерти одного диска не потеряются на других, если был raid0, конечно. Шесть дисков у меня объединены в одну директорию, записывается на тот диск, где в момент записи больше всего места.

ValdikSS ★★★★★
()
Ответ на: комментарий от wolffierce1

Оно не от журналирования место жрёт, а от того, что количество inode рассчитывается из размера ФС, и их получается очень много на 2 ТБ диска. Я обычно задаю пол миллиона айнод, тогда оверхед получается около 1 ГБ на 2 ТБ.

ValdikSS ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.