rsync compression multithread?

а зачем собственно синькать огромные образы?

Я дублирую сервер. Целиком. Там не 100, там почти 900 гиг образов.

а почему не dd - конвейер - ужималка - конвейер - передача овер ссх

1. Несколько ядер ЦП умеет использовать только алгоритм LZMA2 (да и то только два, вроде). В rsync его нет.

2. rsync вроде как передаёт только дельты между файлами, то бишь только то, что изменилось, а не весь файл.

3. «Дублировать сервер» таким макаром не кошерно ни разу. Для бэкапа нужно юзать снапшоты, какие-нибудь дельты (тот же zfs send/receive), а не гонять каждый раз по терабайту туды-сюды.

Ясно. Жаль.

Попробуйте с опцией -S

dd - конвейер - ужималка - конвейер - передача овер ссх

это же надо было расписать lbzip -c на 4 пункта...

Несколько ядер ЦП умеет использовать только алгоритм LZMA2 (да и то только два, вроде). В rsync его нет.

Вот это 4.2!

полупустые образы? для передачи я бы жал их lz4 или lzop, хватило бы и одного ядра.

Я имею в виду из хорошо жмущих. Есть всякие pigz мультитредовые варианты, но я не уверен что они будут хорошо работать в потоковом режиме.

lz4 да, можно было попробовать, он жмёт очень быстро.

bzip2 плохо жмет? у него аж несколько параллельных реализаций.

lrzip заюзай, он жмёт круче чем архиватор Бабушкина.

Новые слова, спасибо.

дельты (тот же zfs send/receive)

заметьте не я это сказал! kvm+zfs = много вкусностей.

Дельта между 0 и 100 равна 100. Ваш КЭП.

Дельта между 0 и 100 равна 100

Единице и повторению нуля.

ну и? это разовая операция, дальше можно передавать инкременты и сращивать их, + возможности сохранять инкременты или их группу в отдельные файлы, откатывать снапшоты, использовать в виртуалках сжимаемые на лету raw-ы

Ну так мне и надо БЫЛО разово скопировать. Тупо хотелось побыстрее.

и поседеть от производительности raw-on-CoW?

тогда жми при передачи, или изнутри вирталок, передавай ФС с помощью dump, он с сбой пустоту-нули не тянет.

и поседеть от производительности

старые песни про ФС с копированием при записи