LINUX.ORG.RU
решено ФорумAdmin

Есть что-то лучше, чем rsync?

 ,


1

4

Есть папка с текущими бэкапами. Её надо синхронизировать на удалённый сервер. Объём папки около 8ТБ, между серверами 1Гб/с.

Бэкапы — копии виртуальных жёстких дисков, поэтому между синхронизациями должны изменяться несильно.

Пытаюсь по rsync. Очень долго тупит вначале. Потом медленно-медленно копирует. С диска читает со скоростью 20-30МБ/с, в результате время копирования чуть ли не больше, чем копировать целиком. В процессах показывает, что загружает одной ядро ЦП (из 24) и, похоже, из-за этого тормозит.

Есть что-то более адекватное? А в идеале, чтобы можно было посчитанные контрольные суммы на удалённом сервере держать в файле рядом, а не заново пересчитывать все 8 терабайт.

★★★★★

Ответ на: комментарий от anonymous

Я использую и rsync и borg для разных задач. Всегда думал, что в rsync есть механизм дедупликации.

aquadon ★★★★★ ()

Пытаюсь по rsync. Очень долго тупит вначале. Потом медленно-медленно копирует. С диска читает со скоростью 20-30МБ/с, в результате время копирования чуть ли не больше, чем копировать целиком.

А ты rsync с ключем -c запускаешь?

aquadon ★★★★★ ()
Ответ на: комментарий от aquadon

А ты rsync с ключем -c запускаешь?

rsync -auv --inplace -B=131072 src user@server:dst

monk ★★★★★ ()

Если на безопасность можно положить болт, то netcat + dd

Sherman ()
Ответ на: комментарий от iron

Так -W это обычное копирование. Тогда уж netcat запускать, как выше предлагали. У меня с диска теоретическая скорость чтения (через dd) около 4Гбит/с, а сеть максимум на 1Гбит/с. Поэтому хочу, чтобы только изменения передавались. А rsync не умеет много потоков. Хоть через split файл разбивай...

monk ★★★★★ ()

лучшие для пересылки дифференциала - снэшоты от zfs. логические тома тож есть - zvol

anonymous ()
Ответ на: комментарий от Samamy

Сервер для хранения — NAS. Там с переделкой на блочном уровне всё сложно.

И я не уверен, что в тот момент, когда на сервере-отправителе будет удалён старый файл и будет записываться новый, кластерная ФС автоматически не сделает пол-файла на сервере-получателе. syncthing хотя бы позволяет операцию синхронизации файла делать почти атомарной.

monk ★★★★★ ()
Ответ на: комментарий от anonymous

лучшие для пересылки дифференциала - снэшоты от zfs. логические тома тож есть - zvol

А он точно умеет вычислять разницу на операцию типа

$ make_backup > backup_4TB
$ # копируем снапшот
$ rm backup_4TB
$ make_backup > backup_4TB # получили файл, который слегка отлисвается
$ # копируем снапшот
?

Ведь с точки зрения ФС второй файл с первым имеет только общее имя. Все номера инодов, блоков ФС, ... разные.

monk ★★★★★ ()
Последнее исправление: monk (всего исправлений: 1)
Ответ на: комментарий от monk

Нет, не умеет. Умеют программы из первого комментария, и ещё некоторые менее популярные.

anonymous ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.