Что выбрать: RAID или LVM?

btrfs: raid1 хранит только две копии данных на любом количестве дисков. С подключением по USB контрольные суммы будут большим плюсом.

Спасибо. Не знал, что у btrfs есть контрольные суммы.

Ты сэкономишь себе кучу времени и нервов, если купишь пару WD40EFPX и просто сделаешь из них зеркало.

А вам точно нужно блочное устройство? Может объектное хранилище подойдёт лучше?

https://github.com/minio/object-browser/pull/3509

Implemented AGPL MinIO Object Browser simplified Console

+4,972 −114,736

Я бы хорошо думал, перед тем, как доверить им данные.

То есть доверять данные древнему венику на 100Г это ок, а минио недостаточно энтерпрайзен для задач уважаемого опа?

Доверять данные нескольким старым веникам, по которым данные прозрачно распределены ядром с избыточностью в фиксированном формате

vs

Доверять данные манипулирующим GPL ребятам, которые искусственно ограничивают функционал в поиске способа монетизировать свой гитхаб на корпорациях, с не фиксированным бинарным форматом на физических дисках, с erasure coding без возможности использовать весь объём накопителей разных объёмов в одном пуле, с веб-серверами на фронте

Надеюсь, у вас с MinIO в инфраструктуре будет всё хорошо. Удачи!

Раньше под это дело FreeBSD + ZFS использовали. ZFS – это как раз RAID+LVM в одном флаконе. (А FreeBSD потому что ZFS там нативно «искаропки»). Как сейчас дела обстоят – не скажу.

Используй что-то вроде CEPH.

в поиске способа монетизировать свой гитхаб на корпорациях

Как будто что-то плохое!

Лучше не надо. Чтобы использовать CEPH, нужно уметь его готовить, а это не так чтоб просто. Проще и дешевле будет купить NAS и к нему нормальные диски.

еще не умерло но уже пованивает…

zfs есть и в проксмоксе, который суть дебиан + сторонние репо. виртуализацию/контейнеризацию его можно и не юзать (хотя контейнеры вполне полезны, если это не только нас будет).

а вот насчет разношерстных дисков с помойки, подключенных по usb2.0 с ОБЩЕЙ СУММАРНОЙ скоростью порядка 30-35 МБ/с на все диски в сумме - я бы таким онанизмом не занимался…

все диски нарезать на разделы по 100 ГБ, сделать из них дублирующие пары (чтобы разделы из каждой пары были на разных физических дисках) и тогда объединить их в один большой диск.

Примерно так реализован raid1 в btrfs, что позволяет объединять разноразмерные диски в массивы с избыточностью. Как будто бы то что надо. Бонусом контрольные суммы, сжатие и прочие снапшоты.

В zfs такое пока не реализовано (может быть в следующем году), поэтому для избыточности нужны парные диски.

Мне нужно из множества мелких разных HDD (100-1000 ГБ) собрать одно удобное хранилище…

Не нужно. Купи один нормальный диск достаточного объёма — это будет надёжней, тише и экономичней, чем сборник из множества старых, мелких и разных HDD. Старые HDD можешь использовать для бекапов. Подключил HDD к ПК, забекапил, отключил и убрал HDD в шкафчик на хранение.

в поиске способа монетизировать свой гитхаб на корпорациях

Как будто что-то плохое!

Если бы вы могли прочитать остальное предложение, мы бы с вами на ЛОР не встретились.

Часто тут споры на эту тему, я использую LVM, т.к. он въелся в подкорку в последствии долгой работы в ынтырпрайзе, к тому же он имхо даёт больше гибкости и разные ништяки в виду снапшотов или внешнего кеша на ссд для ускорения работы

Под описание не подходит ни raid, ни lvm. Попробуй вот это

https://github.com/Sheridan/cephos/

https://t.me/ceph_os

Камрад пилит именно под такие же цели.

Minio закончили разработку опенсорса. На что меняем?

Minio закончили разработку опенсорса. На что меняем?

лол

спасибо, но нет! тут на лоре как минимум две «истории успеха» про ZFS+USB )))))) CRC в данном случае не плюс, а скорее минус, при таких-то вводных.

raid на lvm - это тоже напрашиваться на неприятности

лично у меня большой опыт по таким франкештейнам, но именно поэтому я с firkax солидарен

Но вот что лучше: зеркалирование на RAID или зеркалирование на LVM — я не знаю

Я знаю — btrfs filesystem + raid1

Но как уже упоминали, при

из множества мелких разных HDD (100-1000 ГБ) собрать одно

Ни о какой

надёжности этих вариантов

Речи быть не может

все диски нарезать на разделы по 100 ГБ

проект перестал вмещаться на одном диске

Тебе не кажется, что проблема решена не будет?

Пачиму именно Red?

Который, говорят, может беспробудно повиснуть прям в проде.

Кстати, что там альтернативного есть помимо цефа для кубера?

не очень понял зачем что-то сдвигать когда можно просто примонтировать? или ты не знаешь про команду mount ?

у LVM при всех его плюсах есть существенный (для домашних условий) недостаток - в случае проблем ты концов не найдёшь. простой mdadm raid в этом смысле гораздо проще в т.ч. и при восстановлении.

плюс можно реплику подмонтировать вообще без md, просто смещение (offset) задать. ещё есть нюанс с r10 - там невозможно сделать флаг W (есть даже kernel bug на эту тему).
ещё при небольших размерах (до 2тб) вполне себе хорошо работает R5. а если у тебя в основном данные для хранения и в наборе будет много дисков - то и R6 подойдёт. но для обоих надо сразу предусмотреть запасной раздел (диск, spare), чтобы не пропустить момент отказа. технически ещё можно на одном диске нарезать разделы в разные raid, равняясь по самому мелкому. типа 100+100 на 500, остатки по 400 - на двух 500. это пример.

mount решает ! :)

А там не так много из чего выбирать.

Blue дешевле (но не сильно), но вызывают сомнения по надёжности. Purple примерно такой же цены, но у них странное позиционирование. Black/Gold дороже, но чем лучше непонятно.

Есть ещё сигейты, но у меня к ним предубеждение после их дисков в 2000-е, возможно они уже исправились с тех пор.

Дык — я всегда беру блеки. Да, они медленнее прочих, но никогда не подводили.

Вот про сигейты мне не говори — тоже старая боль ))

Ничего он не решает.