LINUX.ORG.RU
ФорумAdmin

Распределенное хранилище на солянке

 , , ,


0

3

Имеется ~десяток устройств с linux, на которых можно выделить под ноду хранилища порядка 200-800 GB, на каждом разный объем. Коммуникация между устройствами от ethernet до wi-fi, и иногда vpn поверх.

Хотелось объединить эти ноды таким образом, что бы получить около 1-2ТБ распределенное хранилище, работающее при недоступности некоторых отдельных устройств-нод. К скорости и латентности особых требований не предъявляется. Использоваться будет из устройств linux, как являющихся нодами хранилища, так и внешних, не содержащих в себе ноды.

С помощью чего это можно сделать? Какой будет интерфейс доступа к распределенному хранилищу?

Сейчас курю GlusterFS, но понимания возможности такое сделать пока нет.

Пока представляю себе, что добившись работы какой-нибудь подходящей XXX-FS на множестве нод, одну из нод буду использовать как ftp/nfs сервер, тем самым получу доступ к хранилищу с «третьих» устройств. Тут не очень ясно, как зарезервировать эту самую «интерфейсную» ноду. Скорее всего, нужно обеспечит хотя бы 2 ноды с ftp/nfs, одна из которых будет резервной.

Deleted

Самый стабильный способ - на каждой ноде выделить _одинаковый_ размер места под кирпич(brick), построить distributed replicated. При этом не заюзается дисковое место на 100%.

Если так уж необходимо использовать всё доступное дисковое простарнство, то придется отказаться от replicated (как следствие, и от отказоустойчивости) и просто наделать кирпичей на разных нодах и объединить их всех в distributed.

В принципе движок Glusterfs позволяет сделать репликацию между N кирпичами одинакового размера, а эту репликацию включить в дистрибуцию, эдакий RAID10. Но для этого придется хачить конфиги в /var/lib/ вручную, что является нерекомендуемым, т.к. родная CLI конфигурялка это не умеет.

Насчет доступности. FUSE клиент, при угасании той ноды, к которой он приконнектился, будет пробовать коннектится к другим. Можно указать, к которой коннектится в опциях монтирования.

Bers666 ★★★★★
()

забудь про гластер как про страшный сон.

/me вздрагивает каждый раз когда видит gluster

гляди в сторону нормальных систем.

MikeDM ★★★★★
()
Ответ на: комментарий от MikeDM

А нормальные это что? Я практически разделяю ваше мнение про дрожь от гластера.

Тем не менее, глустер официально поддерживается RHEL'ом.

Bers666 ★★★★★
()
Последнее исправление: Bers666 (всего исправлений: 1)
Ответ на: комментарий от Bers666

drdb как вариант. или если надо что то серьезное строить то лучше вообще в сторону аппаратных решений глянуть.

MikeDM ★★★★★
()
Ответ на: комментарий от MikeDM

не серьезное. для личного использования.

если без метафор (дрожь, тоска), glusterFS нестабильна? У меня юзкейз подразумевает штатное выпадение пары нод, затем включение их в работу.

Deleted
()
Ответ на: комментарий от Bers666

Про брики понял. Попробую сделать следующе (цифры условны): делаю брики по 200 GB. На нодах с большим местом создаю два-три брика. Затем подбираю параметр replica (скажем, 3-4) и создам фс.

Однако, еще одна причина забить на это всё - устройства с linux разнородны, стоят разные дистры и ядра. Теперь, сомневаюсь что gluster взлетит. На виртуалках то можно проверить пока...

Deleted
()
Ответ на: комментарий от MikeDM

расскажи подробнее про drbd более чем на двух нодах и про аппаратные решения

anonymous
()
Ответ на: комментарий от Deleted

В качестве альтернативы glusterfs, которая тебя может замучить на твоих задачах и твоей сети, можно посмотреть на ceph, но она чуть сложнее в настройке и фиг знает, насколько безглючно восстанавливается после падения

anonymous
()
Ответ на: комментарий от Deleted

вот разнородность и погубит всё. А есть что-то вроде torrent-fs?

Bers666 ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.