LINUX.ORG.RU
ФорумAdmin

Backup на удаленную площадку

 , , ,


0

1

Добрый день!
Есть две площадки, между ними проложен тщедушный IPsec тоннель пропускная способность которого не более 10 мегабит в свободные часы. Хочу кидать с одно площадки на другую резервные образы виртуальных машин, размер которых варьирует от 10 до 100Gb.

У кого есть опыт, как лучше организовать регулярную передачу файлов, что лучше использовать в рамках такого канала и размера передаваемых файлов. FTP, NFS, SSH, SMB. А может быть использовать что-то экзотическое, типа объектного хранилица Swift, или Ceph, чтобы репликация была между нодами сразу после того, как файл оказался на общем хранилище.


rsync — самый оптимальный вариант.

anonymous ()

Если образы не меняются, только добавляются новые - wget с докачкой, про окончании свободных часов просто завершать.

Или rsync.

anonymous ()

Двачую

Присоединяюсь к дружному хору за rsync. Если новая резервная копия затирает одну из предыдущих, то передаваться будет только разница.

Camel ★★★★★ ()

Дохлый канал

Хм-м, 10 мегабитов в секунду это примерно 1 мегабайт в секунду, примерно 3,6 гигов в час. 3 часа на файл в 10 Гб, сутки с лишаком на файл в 100 Гб. Это при хорошей погоде, потому что 10 мегабитов в секунду будет только в свободные часы. У вас ведь есть резервные копии помимо тех которые вы передаёте по сети? В противном случае бэкапы всегда будут несвежие, хотя это всё равно лучше чем никакие.

Camel ★★★★★ ()
Ответ на: Дохлый канал от Camel

Да, еше бэкапы конечно есть, оправка на удаленную площадку идет как дополнительный источник резервных данных.

Dr0id ()

rsync is a fabulous data mover. Possibly more bytes have been moved (or have been prevented from being moved) by rsync than by any other application.

silw ★★★★★ ()

Rsync хорошо, но думаю, что с дельтами к основным образам VM трюк не пройдет. Необходимо будет постоянно гонять полноразмерные образы. Впрочем уже смотрю на него, читаю маны.

Также где-то слышал, что rsync плохо работает с файлами большого размера, от 2 GB...

Dr0id ()
Ответ на: комментарий от Dr0id

Также пока не выяснил, что лучше, поднимать rsync-сервер на одной стороне или юзать ssh по ключам.

Dr0id ()
Ответ на: комментарий от Dr0id

С ssh безопасность передачи будет выше, но накладные расходы на шифрование больше. Особенно если всё уже обернуто в IPSec

Pinkbyte ★★★★★ ()

rsync c лимитом скорости

anonymous ()
Ответ на: комментарий от Dr0id

rysnc вроде как будет пробегать по всем файлам, как на хосте, так и на приёмнике, и изменённые блоки будет передавать. - Минус этого подхода в том, что на каждый backup, тебе надо будет лопатить все твои файлы.

Если хочешь экзотики - то пользуй zfs. Оно на сей кейс ИМХО, не плохо ляжет.

DALDON ★★★★★ ()
Ответ на: комментарий от Dr0id

есть еще lsyncd это тот же rsync в режиме демона, синькает описаные в конфе объекты

axelroot ()
Ответ на: комментарий от DALDON

Как zfs send | ... zfs receive переживает разрыв связи? Вот надо send 50ГБ изменившихся блоков, передал 49ГБ и связь прервалась, при возобновлении можно будет передать оставшийся 1Гб просто повторным вызовом той же команды или надо как-то где-то шаманить?

anonymous ()
Ответ на: комментарий от anonymous

Как zfs send | ... zfs receive переживает разрыв связи? Вот надо send 50ГБ изменившихся блоков, передал 49ГБ и связь прервалась, при возобновлении можно будет передать оставшийся 1Гб просто повторным вызовом той же команды или надо как-то где-то шаманить?

zfs транзакционная. Увы, при обрыве, насколько я понимаю, надо будет передавать всё заного. - Точнее скорее всего только оборванные dataset

DALDON ★★★★★ ()
Последнее исправление: DALDON (всего исправлений: 1)
Ответ на: комментарий от DALDON

T.e. в данном случае лучше rsync, да?

Вот облом, только хотел zfs заюзать и вы мне такую гадость говорите :-)

anonymous ()
Ответ на: комментарий от anonymous

Наверно, если rsync имеет опцию продолжения. Но тогда надо будет передавать со снепшота, в противном случае будет неконсистент.

DALDON ★★★★★ ()
Ответ на: комментарий от DALDON

А я понял! Ты rsync не знаешь, по этому суешься со своей zfs в любой теме, она же всемогущая.

Мало zfs-клованов на ЛОРе, надо еще!!!

anonymous ()

в рамках такого канала и размера передаваемых файлов...

лучше всего подойдёт почта и пара лентотяг.

DonkeyHot ★★★★★ ()
Ответ на: комментарий от anonymous

Ну сиди со своим rsync, и лопать террабайтные образы виртуалок каждый раз, ради того чтобы передать два килобайта изменённых блоков. Чё. Круто.

Если надо передавать много мелких файлов - то rsync очень даже будет годным! Но если хочется не тормозных снепшотов - то zfs весьма годна.

DALDON ★★★★★ ()
Последнее исправление: DALDON (всего исправлений: 1)
Ответ на: комментарий от Dr0id

сам rsync имеет поддержку аутентификации по паролю и сжатие данных. если нужно шифрование, тогда пускать по ssh, выбрав менее ресурсоемкий алгоритм (blowfish, acrfour).

sprutos ★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.