Proxmox GlusterFS. А стоит ли?

Не, в своё время имел счастье вертеть кластер виртуалок на гластере, но быстро всё понял и ушёл на Ceph. Выше порог вхождения, но проблем потом значительно меньше.

Вот меня и пугает сеф особенно статьями как его легко уронить. И как по опыту? Производительность?

GFS2 хороша (без CVLM), но не суппортится PVE оффициально ( https://pve.proxmox.com/pve-docs/chapter-pvesm.html ), хотя вроде бы работает. С другой стороны, там наверняка дефолтная поддерка в ядре только 16 нод.

CEPH/RBD удобнее, и хороша на быстрых сетях и локальных дисках.

GlusterFS менее толковый, чем CEPH : на уровне бриков было хорошее сравнение на хабре https://m.habr.com/company/croccloudteam/blog/430474/ .

Производительность збс. Уронить надо постараться. Можно легко потерять доступ к данным если начудить в конфигах, но если потом конфиги расчудить, то и данные вернутся, т.е. сами данные потерять очень сложно.

А такой вопрос - если запускать систему на 2 узлах, а потом вводить третий (текущие данные переместить с лвм)?

Мм, для Ceph нужно нечётное количество мониторов. Учитывай как минимум это.

А вообще, да, добавлять узлы не проблема.

т.е. как я правильно понимаю можно запустится на одном мониторе, переместить туда данные и запустить ещё два монитора (т.к. одна из хранилок сейчас в работе)?

купи Nutanix
зачем городить наколенные поделки

Ну т.к. цены я не нашел есть мнение что это будет не очень бюджетно. Да и к тому же смена всей архитектуры. Плюс завязка на вендоре.

В теории да, данные только не растеряй по дороге, если вдруг единственный монитор помрёт.

Да. Все будет сбекаплено на время переноса. Сейчас разверну лабораторию протестирую решение.

Эмм… вот типовая инструкция https://serveradmin.ru/ustanovka-i-nastrojka-ceph/ , одна из многих…

osd_pool_default_size - количество реплик данных в нашем кластере, 3 - минимально необходимое для отказоустойчивости.

osd_pool_default_min_size - количество живых реплик, при которых пул еще работает. Если будет меньше, запись блокируется.

т.е. OSD минимум 2, а MON минимум 3.

Да. Читал её. Раза 4.