LINUX.ORG.RU
ФорумTalks

Боль, rsync, sftp и много много ТБ

 , ,


1

2

Задача: скопировать over 9000 TB на тухлом канале по sftp. По ssh на удаленный сервер remotehost нельзя, только работа по sftp

Естественно имеем:

rsync -av ssh user@remotehost:/source/ /target

    protocol version mismatch -- is your shell clean? (see the
 rsync man page for an explanation) rsync error: protocol 
incompatibility (code 2) at compat.c(171) [sender=3.0.6]

Все бы ничего, но потом надо переодически, раз в пару дней, синхронизировать /source и /target

Какой вариант самый лучший? Монтировать удаленную директорию и применять rsync? http://kangry.com/topics/viewcomment.php?index=18524

По сабжу было обсуждение: http://serverfault.com/questions/135618/is-it-possible-to-use-rsync-over-sftp...

★★★★★

over 9000 TB

Запасись терпением. Самый простой вариант в данном случае — физически забрать носитель.

CYB3R ★★★★★ ()
Ответ на: комментарий от CYB3R

Запасись терпением. Самый простой вариант в данном случае — физически забрать носитель.

Есть маленькая заминка - я не в какой локации этот сервер

int13h ★★★★★ ()
Ответ на: комментарий от int13h

В любом случае тебе быстрее всего будет приехать к этому серверу.

CYB3R ★★★★★ ()

rsync поверх смонтированного SFTP лично мне кажется провальной идеей - rsync сначала считает весь файл для вычисления дельты, потом запишет весь обновленный файл. Я думаю, даже с --inplace ты проиграешь по трафику.

Looks like you're fucked.

tailgunner ★★★★★ ()

а на удалённый сервер, кроме sftp зайти и поправить кое-что можно? А то есть ещё один путь - у самого rsync, как я понимаю, есть свой протокол для обмена.

alexmaru ()

Ну шо, монтируй локально и

until rsync /source /mountpoint/dest; do :; done
Хай оно там до посинения долбится.

Я таким образом успешно перекинул сотню гигабайт по ужасному каналу (но без извращений с sftp).

aidaho ★★★★★ ()

9000 TB

Я быстрее похудею, чем ты данные скопируешь.

Murg ★★★ ()

а поступить как настоящий линуксоид, прочитать сообщение об ошибке и пофиксить этот protocol mismatch путем сборки rsync подревнее никак?

t184256 ★★★★★ ()
Ответ на: комментарий от tailgunner

Синхронизацию всё равно быстрее не сделаешь: придётся весь /target для сравнения скачивать по каналу связи. Разве что можно поискать альтернативу rsync, которая сравнивает файлы по хешам.

nezamudich ★★ ()
Ответ на: комментарий от t184256

Нет. Суть проблемы даже в том, что по ssh не пускает - не дает произвести подсчет дельты.

int13h ★★★★★ ()
Ответ на: комментарий от nezamudich

придётся весь /target для сравнения скачивать по каналу связи

По умолчанию rsync не пойдёт пересчитывать контрольные суммы у файлов у которых совпадают атрибуты. Будет перечитан только файл, на котором отвалился трансфер.

Если там не какой-то криптоконтейнер нужно пересылать, то всё вовсе не так катастрофично.

aidaho ★★★★★ ()

грузовик с жёсткими дисками не вариант? )

Harald ★★★★★ ()
Ответ на: комментарий от aidaho

Да, ты прав. rsync действительно сверяет размер и модтайм, по-умолчанию. Но sftp с sshfs разве позволяют устанавливать необходимый модтайм, чтобы потом синкать только дельты? В противном случае всё равно боль получается.

nezamudich ★★ ()
Ответ на: комментарий от aidaho

Посмотрел описание sftp. Протокол позволяет устанавливать mtime. Так что со стороны протокола преград нет. В sshfs тоже должно бы быть всё ОК, так что в целом проблемы нет.

nezamudich ★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.