Господа, так как в недавней теме про proxmox freenas и zfs меня отпинали за любовь к raid0, я всё же пересмотрел свою политику и таки создал аж raidz2 на 4-х дисках по 3Тб. Попутно, разбираясь с багами из прошлой темы я наткнулся на прелюбопытнейшую статью https://calomel.org/zfs_raid_speed_capacity.html, там парни достали откуда-то очень много дисков и всячески их соединяли и тестировали. Вот небольшая выдержка вокруг которой будут вращаться дальнейшие умозаключения:
lz4=off
2x 4TB, mirror (raid1), 3.7 TB, w=106MB/s , rw=50MB/s , r=488MB/s
4x 4TB, raidz2 (raid6), 7.5 TB, w=204MB/s , rw=54MB/s , r=183MB/s
lz4=on
lz4 2x 2TB raid1 mirror 1.8 terabytes ( w=398MB/s , rw=354MB/s , r=1537MB/s
lz4 7x 2TB raid7, raidz3 7.1 terabytes ( w=507MB/s , rw=436MB/s , r=1532MB/s )
там почему то забыли затестить raidz2 из 4=х дисков с lz4 так что я просто взял raidz3 из 7-ми
Первый. Сейчас я собрал raidz2, получил отказоустойчивость сервиса с возможностью потерять любые 2 диска и имею 6ТБ рабочего пространства (ну 5.1 на самом деле, но упростим расчёт). Однако у меня не осталось дисков для внешнего бекапирования, всё таки держать всё в одной корзине опасно: пожар там, наводнение, кулхацкер.
Как видно из приведённых измерений с lz4 скорости записи и чтения довольно неплохо выравниваются между разными рейдами, плюс я планирую использовать для кэша NVME-ssd, что в теории позволит добиться от шпендельных дисков более линейных режимов работы. Таким образом немногим хуже видится второй путь - собрать miror из двух дисков на рабочей машине, и ещё один mirror из двух на другой машине для бекапирования. Ухудшается отказоустойчивость основного сервиса, теперь можно потерять только 1 диск, однако общая надёжность возрастает - при потере любых трёх дисков информация остаётся в сохранности, ещё из минусов можно отметить уменьшение рабочего объёма с 6Тб до 3Тб, но это не очень критично, рабочей информации у меня ~1Тб
Что думаете по этим двум схемам и приведённому тестированию?