LINUX.ORG.RU
решено ФорумAdmin

Синхронизация файлов в кластере из N нод


0

1

Посоветуйте рабочие схемы многосторонней синхронизации файлов в кластере из N нод, N может быть больше 2-х.
Либо другие варианты где синхронизация не требуется, например, NFS - подойдет ли он в данном случае?

Файлы будут мелкие, около 200.000, картинки, скрипты и проч., изменяться могут очень часто, например, 3 раза в секунду.
Файл может измениться на любом сервере, изменения должны перейти на остальные, конфликты должны разрешаться автоматом.

Нашел такие варианты:
1. http://oss.linbit.com/csync2/ - тут для хранения списка файлов используется sqlite, сомневаюсь, что выдержит нагрузку. Вопрос, есть ли решения с использованием mysql и/или бд в памяти?
2. http://www.howtoforge.com/high-availability-storage-cluster-with-glusterfs-on... - вопрос, подойдет ли такой вариант, в чем преимущества и недостатки, выдержит ли нагрузку?

Какой будет нужен файловый сервер?
- ФС: NFS?...
- скорость сетевых по ethernet?
- hdd: sata, sas?

glusterfs можно настроить таким образом ну и + sas диски вполне может получиться

netghost
()

>- скорость сетевых по ethernet?

изменяться могут очень часто, например, 3 раза в секунду.


ИМХО гигабита должно хватить

Pinkbyte ★★★★★
()

Единственная проблема в конфликтах - что значит автоматом? Какая нода над какой будет иметь приоритет? А так - глустерфс

blind_oracle ★★★★★
()

>кластер

ethernet

NFS

facepalm.jpeg

Led ★★★☆☆
()
Ответ на: комментарий от no-dashi

плюсую OCFS2, под нагрузкой с гластером происходили неприятные вещи - лютое падение скорости как отдачи так и записи.

Komintern ★★★★★
()

Не советовал бы для таких потребностей Glusterfs.
Зеркало в похожей ситуации работало препаскудно.

Myp3ik ★★
()
Ответ на: комментарий от no-dashi

OCFS2 требует shared-disk. А мне нужно объединение дисков, как в GlusterFS, но ее тут не советуют, есть ли еще проверенные в продакшн варианты?

Subcreator
() автор топика

Смотрю в сторону Ceph или Lustre. Что можете сказать?

Subcreator
() автор топика

Оказалось, для данной задачи вполне достаточно csync2 %)
Всем спасибо за помощь.

Subcreator
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.