LINUX.ORG.RU

Многопоточный компрессор для больших файлов

 , , , ,


0

1

Посоветуй, лор.

Есть два десятка разных ~2.5TB файлов (некие образы с медиа данными). Сжимаются не равномерно, некоторые 90%, некоторые 10%.

Начал, не заморачиваясь, использовать pigz - выяснилось, что gzip --list не работает с файлами больше 4GB. Это совсем не по феншую, в 21-м веке-то! bzip2 вообще не имеет команды --list. А я хочу смотреть статистику по сжатому файлу, да такая блажь. Посоветуйте многопоточный компрессор, полноценно поддерживающий файлы до 10TB, и выводящий статистику по сжатому файлу; возможность использовать в конвеере (пайпах, stdin, stdout)

pigz, pbzip2. Но что еще?

Deleted

Последнее исправление: Deleted (всего исправлений: 1)

pv -c ~/FILE.img | tee >(md5sum - >FILE.img.md5) | 7za a dummy -tbzip2 -siFILE.img -so > /tmp/FILE.img.bz2

вроде пашет многопоточно. Тип -t: gzip - не работает многопоток (?); 7z - не поддерживает -so. Потом проверю на больших файлах 7za l Позже поставлю флаг «решено»

Deleted
()
Последнее исправление: Deleted (всего исправлений: 2)
Ответ на: комментарий от anonymous

pigz

аноним ,ты уже пофиксил формат gz, что бы --list корректно работало? я об этом в исходном с. написал

Deleted
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.