LINUX.ORG.RU

Распределённая фс для бекапов?

 , ,


0

4

Бонжорно

Нужна помощь коллективного разума.

Какая существует относительно простая фс для примерного такого кейса:

  • распределённость
  • снапшоты/за неимением их - высокоуровневая фича вроде rsync
  • не труп, наличие пакетов/ебилдов
  • вменяемый failover

На кластер нужно будет лить множество мелких бекапов файлов и дампы бд, также по мере необходимости забирать их.

Ответ на: комментарий от Deathstalker

DRBD

Оно же делает простой mirroring на слейвы, не? Я бы не назвал это «распределённой фс».

true_admin ★★★★★ ()

Относительно простой, отвечающей требованиям - не существует.

tailgunner ★★★★★ ()
Ответ на: комментарий от tailgunner

Ну можно и не простой, требования первостепенны :)

invokercd ★★★★ ()
Ответ на: комментарий от invokercd

Самое близкое их того, о чем я слышал - CephFS, но она еще не готова к продакшену. Можно навернуть поверх созданного Ceph блочного девайса любую ФС, но это уже не будет распределенная ФС. Тебе точно нужна именно распределенная?

tailgunner ★★★★★ ()
Ответ на: комментарий от tailgunner

А тут на лоре лет 5 назад хвалили Andrew File System (AFS), что на счёт неё?

true_admin ★★★★★ ()
Ответ на: комментарий от tailgunner

Нужна, потому что скорее всего в течении времени это вылезит в некий комершл - не хочу подставлять людей. А что на счёт GlusterFS?

invokercd ★★★★ ()
Ответ на: комментарий от true_admin

А тут на лоре лет 5 назад хвалили Andrew File System (AFS), что на счёт неё?

AFS не распределенная, AFAIK. Это «правильная NFS».

tailgunner ★★★★★ ()
Ответ на: комментарий от invokercd

А что на счёт GlusterFS?

Теоретически, она тоже отвечает требованиям, но ей я интересовался еще меньше, чем Ceph.

tailgunner ★★★★★ ()
Ответ на: комментарий от invokercd

Советую потестировать под свои задачи. У гластера много вариантов конфигурации. Я вот только в режиме реплики использовал. Из проблем запомнился этот баг с утечкой памяти https://bugzilla.redhat.com/show_bug.cgi?id=1093594

Leron ★★ ()
Ответ на: комментарий от invokercd

А что на счёт GlusterFS?

У нас используется под репозитории. Кластер из трех нод.

Difrex ★★★★ ()
Ответ на: комментарий от tailgunner

AFS не распределенная, AFAIK

Хм, википедия пишет что распределённая. Я, правда, пока особо не вникал, но реплики чанков там заявлены. Ладно, надо будет как-нить собраться с духом и потестить.

true_admin ★★★★★ ()
Ответ на: комментарий от true_admin

Хм, википедия пишет что распределённая.

У Wiki и NFS распределенная.

tailgunner ★★★★★ ()
Ответ на: комментарий от Difrex

Тогда погоняю его, у вас стейбл? Какая версия нормально поживает?

invokercd ★★★★ ()

Я решал подобную задачу. Ещё в запросах стояло прозрачное изменение нод в кластере. Добавление/убирание на лету. Из «официального» подошёл только glusterfs. И даже всё прекрасно с виду было. Пока не наткнулся на проблемы с тормозами и затыками в случае разнесённых датацентров и неширокого канала. Асинхронная георепликация там только в одну сторону. Для бэкапа сгодится, но мне нужен честный мастер-мастер.

...

Почесал я репу, погонял реальные данные, да и вернулся на старый добрый lsync (это inotify-демон, который дёргает rsync для изменений в ФС). Там только одна бяка, с которой нужно быть осторожным — по дефолту не разрешать удаление. А то так отмонтируется том на одном мастере, второй подумает, что всё удалено и грохнет тоже. Вернёшь потом первый — он грохнет всё как и на втором. Я так потерял однажды часть данных, в «настоящем» бэкапе не всё было... Так что сейчас в lsync удаление запрещено, а реальное удаление, которое требуется редко, делается периодически по обычному rsync.

KRoN73 ★★★★★ ()
Ответ на: комментарий от KRoN73

Неширокий канал это < 1 GBps?

Гео конечно было бы прикольно, потому что я пока не придумал про интерфейс для слива данных, но это пока все в процессе :)

invokercd ★★★★ ()
Ответ на: комментарий от invokercd

Неширокий канал это < 1 GBps?

Это что-то около 20-30 реальных Мбит/с :) Столько примерно получается у меня от Хетцнера в Россию качать одним потоком.

KRoN73 ★★★★★ ()
Ответ на: комментарий от KRoN73

Ну так себе, в принципе если оно норм на сотке будет шевелиться (я имею ввиду неспешную репликацию) - тогда всё в шоколаде :)

invokercd ★★★★ ()

чисто теоретически еще существует XtreemFS, вроде по спекам должна подойти, но мопед не мой, сам не пользовался

shty ★★★★★ ()
Ответ на: комментарий от invokercd

А что на счёт GlusterFS?

хочешь по утрам просыпаться в холодном поту? Тогда гластерфс твой выбор.

MikeDM ★★★★★ ()
Ответ на: комментарий от invokercd

Ну так себе, в принципе если оно норм на сотке будет шевелиться

Просто шевелиться оно и на куда более медленном канале будет. А вот если потребуется синхронизировать десятки/сотни гигов с локальным трафиком на терабайты в месяц (мой случай) — тогда, боюсь, и сотки будет маловато :-/ В общем, я большие надежды на gluster возлагал, но обломался...

KRoN73 ★★★★★ ()
Ответ на: комментарий от invokercd

Тогда погоняю его, у вас стейбл?

Да. Все деб репы живут на гластере.

Какая версия нормально поживает?

apt-cache policy glusterfs-server 
glusterfs-server:
  Установлен: 3.5.2-2
  Кандидат:   3.5.2-2
lsb_release -a
No LSB modules are available.
Distributor ID: Debian
Description:    Debian GNU/Linux 8.1 (jessie)
Release:        8.1
Codename:       jessie

До дебиана была убунту 12.04. Там была версия 3.2.5.

Difrex ★★★★ ()
Последнее исправление: Difrex (всего исправлений: 2)
Ответ на: комментарий от Difrex

Спс, а какая фс?

Смотрю что в тренде xfs, пока не врубился резонность этого.

invokercd ★★★★ ()
Ответ на: комментарий от shty

Выглядит норм, но Java, фак. Пока ищу истории успеха с ней :)

invokercd ★★★★ ()
Ответ на: комментарий от MikeDM

Что посоветуешь тогда?

Пока кроме него все кажется немного сырым, оно же пилится красношапкой.

invokercd ★★★★ ()
Ответ на: комментарий от invokercd

Xfs, ну хотябы с инодами нет проблем, как на ext4

Difrex ★★★★ ()
Ответ на: комментарий от invokercd

Что посоветуешь тогда?

все гавно. хоть садись и свою пиши.

MikeDM ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.