Отказоустойчивое распределённое хранение данных для нищеброда.

glusterfs - но оно не готово к промышленному использованию (например, много чего нельзя сделать через cli утилиты, хотя этот метод заявлен как основной, и приходится править конфиги) и там идет активная разработка (я читал их список рассылки в конце декабря). Как следствие - частые апгрейды и немалая вероятность при этом сломать хранилище.

Где-то слышал, что glusterfs очень медленная. Но мне думается, что это вранье. Что можете сказать на сей счет?

glusterfs очень медленная.

Где-то на просторах Инета видел бенчмарк, по которому Gluster выигрывал у Lustre почти по всем параметрам, кроме листинга директорий. Тут просест был десятикратный.

Она работает пока все сервера живы, когда машинки отваливаются/начинаются проблемы с сетью, то происходит свистопляска. Так было год назад, сейчас не знаю как.

Не так давно пробовал glusterfs - мне понравилось. Там можно сделать дупликацию данных - так что если нода умрёт, это не критично. Медленности не заметил. Но в продакшене, увы, пока не использовал. Пока только предварительные эксперименты были.

В порядке оффтопика - openstack swift. Не использовал, поэтому ничего сказать не могу.

по iSCSI или NFS

вы таки определитесь. вам блочный или файловый доступ.

для файлового доступа хорошо подойдет dcache. Оно мчит и дОвит.
для блочного я бы городил pacemaker(corosync) + drbd + tgtd, а чтоб drbd мчал прикупил бы в каждый сервер infiniband адаптер благо подешевели и в drbd9 появилась поддержка rdma.

Сам использую gluster. Скорость мне не критична, но неудобств не замечал. Есть некотрые путнкты которые огорчают:

• невозможно посмотреть в каком состоянии репликация, насколько синхронизированы ноды
• только 64 бита, 32 сборки есть, но официально они не поддерживаются, возможны косяки (и я думаю на больших хранилищах обязательно вылезут)

Зато из плюсов

• хранилище на уровне файлов, в качестве бэкенда используется FS сервера, что даже при полном отказе гластера, данные будут доступны и их не надо будет каким то хитрым образом выковыривать.
• относительная легкость настойки
• быстрая разработка, проект очень активный

вы таки определитесь. вам блочный или файловый доступ.

Мне без разницы что отдавать, а клиентам без разницы к чему подключаться.

infiniband

В моих деревнях это дорого, и сразу в наличии нет, зато дешевые четырёхпортовые гигабитки всегда есть в ближайшем сельпо.

Сколько нод? Сколько дисков? Какие нагрузки?

Мне без разницы что отдавать

ну тогда

pacemaker(corosync) + drbd + tgtd

просто, нищебродски и проверено временем.
а для синхронизации хотя бы 10Gbps между парами. (наверно придется съездить в райцентр) а чтоб не тратиться на трансиверы использовать пассивную SFP+ медь.

просто, нищебродски и проверено временем.

Спасибо, как оборудование получу, попробую первым делом.

а для синхронизации хотя бы 10Gbps между парами

Блин, 400 евро с гагом за карточку одну чего-то совсем не нищебродски. Хотя если не потянут 4-х гигабитки, придётся уламывать на покупку.

2 ноды, настроено как зеркало. Понятием диск (блочное устройство) гластер не оперирует. Одновременный доступ из двух точкек монтирования. хранилище примерно 40гб, пишется туда около гига в день.

Как вариант, установить ceph кластер. Без cephfs, только rados/rbd. Там-же поднять tgtd с поддержкой ceph для экспорта rbd через iscsi. Это будет надежнее и быстрее чем gluster.