LINUX.ORG.RU
ФорумAdmin

Что-то вроде RSYNC или DFS.

 


0

1

Всем добрый день. Появилась задача. Возможно простая возможно нет. Есть веб приклад разнесенный на 2 датацентра Main и Disaster который работает в режиме Active/Active. Вопрос Fail Lock в момент обращения реализуется на базе собсвенного приклада и проблема блокировок на файлы не стоит.

Есть файл сервера с файлами и метаданными к которым обращается веб приклад как к простому файлу, читает>пишет>комитет после чего идет синхронизация для актуализации данного файла на другой площадке, в данный момент схема работает на базе MS DFS. Схема как бы работает но очень медленно так как колличесво файлов ростет и уже нереально огромное, синхронит в последнее время медленно. Возникла задача постороить новую файловую площадку Active/Active с быстрой синхронизацией и поддержкой десятков миллионов файлов. Файлы варируются размером от нескольких Kb то десятков Mb. Обязательно с возможностью инкрементного обновления файла.

Датацентры разделены 100mb/s каналом. Удаленность не большая порядка 10 Км. Обе площадки на виртуализации но вариант FT,AR и другие фишки виртуализации отпадают.

Умы советуют Rsync. Что можно посмотреть еще ? на что стоит обратить внимание ?

****** Нашел информацию по CEPH, Но ради 2 нод стоит ли городить такой город ?

если проблема с синхронизацией большого количества файлов, возможно репликация на уровне блоков будет эффективнее. Для небольших расстояний netapp metrocluster прекрасно работает

dyasny ★★★★★ ()

s3, но взаимодействие нужно будет реализовывать разработчикам приложения (если они уже не используют библиотеку которая это умеет).

У ceph есть совместимый интерфейс (rados gateway), при желании можно поднять endpoint у себя.

vren ()
Ответ на: комментарий от Deleted

Я не про отправку из Ceph в s3, а про поднятие s3 совместимого endpoint'а с которым будет взаимодействовать приложение, у Сeph есть именно для этого rados gateway.

vren ()

Десятки мллионов файлов и

Датацентры разделены 100mb/s каналом.

Очень уныло.

****** Нашел информацию по CEPH, Но ради 2 нод стоит ли городить такой город ?

Забудь. Это не его область применения.

stave ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.