LINUX.ORG.RU
ФорумAdmin

Почему tar+gzip/bz2 такой медленный? И что делать?

 , ,


0

2

Когда с LZMA делаю Squashfs, то всё работает быстро, но с tar всё работает быстро только без сжатия. С gzip/bz2 всё жутко тормозит. И ещё: используется только одно ядро. Какие есть варианты с использованием tar? Может к нему можно LZMA подключить?

bz2 одновременно хуже жмёт и тормознее, чем xz(lzma). gzip быстрее, чем lzma, убедись что для каждого формата используются многопоточные компрессоры

anonymous ()
Ответ на: комментарий от anonymous

и наличие многопочного компрессора не всегда означает наличие многопоточного ДЕкомпрессора

anonymous ()

а pbzip2 что? (Parallel bzip2 (de)compressor using libbz2)

kep ()
Ответ на: комментарий от anonymous

Да. И многопоточный декомпрессор есть только у bzip2. Поправьте, если не так.

Deleted ()
tar -I pbzip2 -xf file

или

pbzip2 -dkc file | tar -x

Deleted ()
Ответ на: комментарий от ktulhu666

замени gzip на pigz и будет сжатие многопоточное.

да и распаковка ускоряется, обычно в 2 раза.

vel ★★★★★ ()

Не понял что где тормозит. Медленно копируются произвольные файлы из сжатого тарбола?

theurs ()
Ответ на: комментарий от anonymous

bz2 одновременно хуже жмёт и тормознее, чем xz

У вас пруф отклеился

zolden ★★★★★ ()

Я-бы попробовал использовать LZ4

LZ4 is a very fast lossless compression algorithm, providing compression speed at 400 MB/s per core, with near-linear scalability for multi-threaded applications. It also features an extremely fast decoder, with speed in multiple GB/s per core, typically reaching RAM speed limits on multi-core systems.

Sigizmund ()

Lrzip от анестезиолога тебе поможет)

devl547 ★★★★★ ()

тред не читал, но а) полюбому ты его сравнил с чем-нибудь непотоково сжатым б) полюбому ответ в общем случае - lbzip2 в) полюбому без постановки задачи сколь-либо оптимального ответа не получить.

t184256 ★★★★★ ()
Ответ на: комментарий от Sigizmund

провел небольшой эксперимент:

user@host:~/1> time tar -I lz4 -c google-earth.bak > ../test.tar.lz4

real    0m1.653s
user    0m0.312s
sys     0m0.213s
user@host:~/1> time tar -I gzip -c google-earth.bak > ../test.tar.lz4

real    0m4.881s
user    0m4.825s
sys     0m0.174s
user@host:~/1> time tar -I bzip2 -c google-earth.bak > ../test.tar.lz4

real    0m8.555s
user    0m8.447s
sys     0m0.139s
user@host:~/1> time tar -I lzma -c google-earth.bak > ../test.tar.lz4

real    0m35.121s
user    0m34.914s
sys     0m0.548s
user@host:~/1> time tar -I xz -c google-earth.bak > ../test.tar.lz4

real    0m35.130s
user    0m35.009s
sys     0m0.469s

Sigizmund ()
Ответ на: комментарий от Sigizmund

Тест говно, в первом случае не учитывается попадание google-earth.bak в кэш в последующих случаях.

Алсо дефолтные настройки сжатия у разных алгоритмов разные.

anonymous ()
Ответ на: комментарий от anonymous

Тест говно, в первом случае не учитывается попадание google-earth.bak в кэш в последующих случаях.
Алсо дефолтные настройки сжатия у разных алгоритмов разные.


У Вас есть возможность провести тест-неговно и предоставить результаты тестирования на всеобщее обозрение...

Sigizmund ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.