LINUX.ORG.RU

rsync, большой файл, перебои в работе сети

 ,


0

2

Привет, лор!

Вытягиваю с удалённой машины большой файл (неск. Гб) командой:
rsync -avhcsz --no-o --no-g --timeout=15 --progress --partial-dir=.rsync_parts -e ssh "$@"
Транспорт по сети интернет. Скорость канала небольшая (от 2-х до неск. Кб/сек), при этом соединение постоянно обрывается, в связи с чем rsync обёрнут в скрипт-супервизор а-ля вот здесь.

В файле нельзя допустить ошибки, поэтому опция -c. Беда в том, что при восстановлении соединения rsync очень доооолго сверяет фрагменты загруженной части с источником (затем догружает неск. Кб., и соединение обычно рвётся: снова проверка, etc…)

Может быть я упустил из виду подходящую опцию, с которой, допустим, контрольная сумма будет расчитываться только один раз (загруженная часть + такого же размера начальный кусок источника)? Или, скажем, можно задать размер куска для расчёта хэша?
Вразумите неразумного.

★★

соединение постоянно обрывается

А по torrent-у нельзя обмен наладить? Тогда бы у тебя все необходимые хеши были бы.

anonymous
()

Качни разок до конца с –size-only, а потом перечексуммь с полной проверкой? Если есть возможность заморозить состояние на той стороне, то по одному отдельному вызову на каждый файл?

неск. Гб… от 2-х до неск. Кб/сек, при этом соединение постоянно обрывается

Тут где-то тред был про отправку в Антарктиду, спишись да с ними флешкой передай, ну.

t184256 ★★★★★
()

Не нужно тебе сразу с контрольной суммой. Сначала скачать с опциями типа -avP и только потом, повторно, может прогнать (сколько хочешь раз) с контрольной суммой.

targitaj ★★★★★
()
Ответ на: комментарий от t184256

Тут где-то тред был про отправку в Антарктиду, спишись да с ними флешкой передай, ну.

:D

rmu ★★
() автор топика
Последнее исправление: rmu (всего исправлений: 2)
Ответ на: комментарий от t184256

Качни разок до конца с –size-only, а потом перечексуммь с полной проверкой?

Я думаю так делать, но зачем лишние телодвижения, если, например, в rsync уже всё сделано по-уму, а я просто об этом не знаю?

rmu ★★
() автор топика
Последнее исправление: rmu (всего исправлений: 1)
Ответ на: комментарий от anonymous

А по torrent-у нельзя обмен наладить? Тогда бы у тебя все необходимые хеши были бы.

Подумаю как это сделать. По идее в торренте можно поставить флаг шифрования и не хуже ssh получится. Но опять же это лишние движения, лучше бы автоматизировать.

rmu ★★
() автор топика

Тебе syncthing подойдет. Для успокоения по окончании синхронизации сверб хэши.

Deleted
()
Ответ на: комментарий от Deleted

Тебе syncthing подойдет.

Мне понравилось описание. Ушёл настраивать.
Если знаете как автоматизированно решить вопрос rsync-ом, прошу подсказать.

rmu ★★
() автор топика
Последнее исправление: rmu (всего исправлений: 1)
Ответ на: комментарий от rmu

Скорее всего rsync староват для таких задач. Тут не помешает разбитие файлов на чанки и обеспечение сверки данных на уровне чанков, что и делает syncthing. Самая главная фича syncthing - настроил и забыл, всё само работает.

Deleted
()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от anonymous

Кстати тоже интересный инструмент, его вовсю в ентерпрайз тащат. Но я не щупал.
С syncthing за последние полгода точно не было проблем, может больше. Вот на более старых релизах раз-два в месяц приходилось подпинывать руками, чтоб синхронизация поехала.

Deleted
()
Ответ на: комментарий от urxvt

а также передавать их голубиной почтой. или оленьей с четностью.

сильно ратую за синх/ресилио вариант.
два каталога «от Васи к Пете» и «от Пети к Васе» решают все проблемы по обмену файлом в условиях нестабильной связи.

на хабре помнится была статья про то как много тому назад спонадобилось гонять большие файлы в китай и обратно. связь была на уровне описанного если не хужей.
в статье перебрана куча вариантов с прикладными описаниями что и как. В итоге выбрали btsync (теперича зовется ресилио) и все задвигалось стабильно и эффективно - положил файлики в отправку и не паришься. через несколько часов отзвонился реципиенту указал, что делать с отправленным и профит.

pfg ★★★★★
()
Последнее исправление: pfg (всего исправлений: 1)
Ответ на: комментарий от urxvt

и я о том же. синх/ресилио эффективно решают задачу файлообмена в хреновой сети в автоматическом режиме.
зачем ручками сплитить, передавать и собирать, если есть готовое автоматическое средство - сплит так-то уже вписан в торрент-протокол.
да здравствуют роботы !!111

pfg ★★★★★
()
Ответ на: комментарий от urxvt

Странно, что никто так и не посоветовал разбить файл на сервере split’ом.

У меня на пару дней совсем нэт пропал. Отличная идея со сплитом! Просто и надёжно. Взял на заметку для запасного варианта копирования.

rmu ★★
() автор топика
Ответ на: комментарий от urxvt

Если голубиная почта быстро и эффективно из коробки решает разовую задачу, то почему бы и нет?

С голубями есть маленькая проблема: они летят только в одну сторону. Хочешь отправить два пакета файлов -> берёшь две флешки и два голубя. Ещё их нужно правильно доставить, чтобы у него компас в черепушке не сбился. Не вариант.

rmu ★★
() автор топика
Ответ на: комментарий от Deleted

Спасибо огромное тебе и @pfg за наводку на этот проект! Syncthing на 146% решил мои задачи. Во-первых, в последние пару дней с нэтом было совсем плохо, но я достал с сервера все нужные файлы. Боялся, что там кучу всего настраивать нужно, а оно ставится в два тыка!

Кроме основной задачи, расшарил ещё папку между ноутом, сервером и телефоном. Теперь сбрасывать ссылки, заметки и другие мелкие файлы с ноута не телефон и обратно – одно удовольствие (я раньше для этой задачи юзал черновик на гмайле и вотсап). И нет зависимости от айти-гигантов.

Очень доволен этой штуковиной. Просто сбросил файл в одном месте , достал в другом – он везде удалился. И всё автоматом, и думать не нужно – поставил и забыл. В моих условиях эта штука здорово поднимает настроение.

rmu ★★
() автор топика
Последнее исправление: rmu (всего исправлений: 1)
Ответ на: комментарий от urxvt

При потерях 55,6 % пакетов и времени задержки от 53 минут до 1 часа 40 минут, метод всё же доказал свою практическую работоспособность.

Слишком ненадёжное решение. Пакеты теряются. А если расстояние тысячи км, как в моём случае? Не, не годится.

rmu ★★
() автор топика
Ответ на: комментарий от rmu

syncthing

телефоном

поднимает настроение

К слову, есть еще поверх такой штуки DecSync для контактов и RSS-фидов, можешь тоже порадоваться.

t184256 ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.