Да мне хотелось конкретных рекомендаций от уже опытных именно в этом людей. Твой совет бесполезен, т.к. если бы я проводил неспешное тестирование методов архивирования исходников, я бы естественно прогуглил все варианты)
300 метров упакованного за 7 минут. Вырубил. Даже результат упаковки не интересен. Похоже, что Архивирование исходников (комментарий) от ValdikSS — это оптимальный вариант. Всем спасибо за умные мысли)
Zstd показывает отличные результаты. В режиме максимального сжатия файлы немного меньше чем с xz, и всё ещё на 25% быстрее. В умолчательном режиме (троечка) прогоняет гигабайты за секунду и сжимает лучше rar и bz2).
там одинаковые файлы присутствуют, многие архиваторы почему-то не складывают их, сжимают отдельно.
Git держит историю упакованной, поэтому данные выглядят как случайные, и жмутся плохо. Для упаковки нужно вызывать git gc --aggressive --prune=now во всех отдельных репозиториях. Их, правда, полтыщи, если не больше. Но в итоге с 50 гигов можно выиграть что-то около десяти. И приготовься к тому, что ОЗУ для этих операций тебе понадобится больше 16 гигов.
Xz справляется когда словарь побольше (режим помедленней умолчательного), 7z вроде тоже. Ап bz2 так и не получилось победить по-моему, он мне совсем не понравился. Медленный, неэффективный, фу.
Ну как бы да, но это работает только если совпадающие части попадают в некое скользящее окно. Поэтому степень сжатия зависит от последовательности файлов.
lrzip это не какой-то особый способ сжатия, он может использовать в том числе и lzma. Но с дедупликацией перед сжатием. Зачем надеяться на большой словарь, если поиск больших повторяющихся кусков можно сделать явно?
Можно -T0 писать, чтобы использовались все ядра. Многопоточность появлась только в недавних версиях. Возможно на каком-то железе будет лучше когда больше потоков, там зависимость не то чтобы линейная.
Почему это? 85*12 = 1 ГБ в час. Получается полторы сутки — вполне приемлемое решение, если нужно не прямо сейчас, а можно поставить архивироваться на сервере и заниматься дальше другими делами.