LINUX.ORG.RU

архиваторы. тест и выбор

 ,


0

1

Привет. Предыстория: Обслуживаю сервера предприятий. И задался тут вопросом: А какой же архиватор лучше всего использовать в каких задачах. Задача 1. простая архивация бекапа для хранения на том-же сервере. С распаковкой когда придет время. Тут нет ничего проще. tar - наше все. И быстрый и оптимальное сжатие Задача 2. Архивация все тех-же бекапов, но чтобы их можно было либо на облако закидывать, для доп.зеркала, либо в сетевую шару, чтобы владелец или работники фирмы могли себе отдельно забирать. Здесь уже вариант выдора архзиватора только таков: возможность шифрования (всеже в шаре хранить открытый бекап - тупо). Также возможность спокойного его открытия в Windows. tar не подойдет ибо нет возможности поставить пароль на архив. Я понимаю что можно использовать шифрование gpg. Но блин потом во первых трудно распаковать, а во вторых на винде вообще никак.

Выходит: нужен архиватор, чтобы с шифрованием (тоесть пароль ставить мог), но и чтобы в винде можно было открыть более-менее безпроблемно.

Провел тест парочки выбранных. см.скрин
https://ibb.co/1mRFd6N

Архивировал базу размером 40гиг. Как видим. tar - время 8 мин, получился архив 4212мб архиватор 7z самый быстый режим (-mx=1) упаковщих был выбран lzma с установкой пароля - заняло 11 мин но и файл получился 3652мб. Вполне так не плохой вариант, чуть больше времени заняло, но и меньше размер файла стал. Так еще и на винде открыть такой архив смогу, так и пароль поставить. Далее размер словаря как видим почти ничего не меняет. в одном архиве (-md256m) в другом 32м - А на выходе почти тот же размер. (думаю это потому что файл исходник был один. А читал гдето, что размер словаря важен когда много файлов пакуется в архив. Этак пару тысяч) zip интересен большим быстродействием. Да файл больше получается, но быстрее него нет других архиваторов. Он полезен для использования во время работы сервера, (а не ночью к примеру - когда я собственно тесты и проводил).

недостатки и zip и 7z (c lzma) - в том что они используют всего одно ядро!!!. Все команды что ест ьв сети якобы для использования большего количества ядер - нифига не дают. Они бессмысленны. Единственное где был толк от команды (-mmt=6) Это когда в 7z я выбрал упаковщик bzip2 (опция -tbzip2). Было указано использоваться 6 ядер (всего в системе 8 ядер). И как видим толку от использваония и загрузки всех 6 ядер = 0.bzip2 работает еще дольше чем любой другой.

В общем решил поделится статой по архиваторам :) Еще какие варианты кто посоветует?? в 7z архиваторе есть еще парочку упаковщиков вшиты. Может их попробовать? Главное чтобы в винде открыть, и пароль на архив поставить. Иные варианты не интеречсуют. Ибо дял внутреннего использования лучше tar - нету p.s. Думал попробовать rar.. Но блин там много гимора. И с лицензией, и пишут что он медленный. Ну если разве что он умеет пользовать много ядер действительно с толком а не как bzip

А какой же архиватор лучше всего использовать в каких задачах.

архиватор или компрессор? Вот tar.* точно совсем не лучше использовать, если надо распаковать один файл из нескольких, да еще в большом пожатом архиве.

В общем решил поделится статой по архиваторам :)

ну ок, пусть архиваторам. Почему для tar проверяли только gzip упаковщик? А как же xz, lzma, bzip2, zstd в конце концов?

base_2020.bck это файл или каталог? Если файл, то зачем там tar?

недостатки и zip и 7z (c lzma) - в том что они используют всего одно ядро!!!

приведенные ниже команды прекрасно загружают все доступные ядра/потоки. Как проверял?

 7z a -t7z -mx=9 -mmt=on ...
 7z a -txz -mx=9 -mmt=on ...
 7z a -t7z -m0=lzma2 -mmt=on ...

см.скрин

мог бы и текстом, там все равно нет ничего такого, для чего бы потребовалась картинка

В общем решил поделится статой по архиваторам :)

и чего теперь с ней делать?

xgatron ()

нужен архиватор, чтобы с шифрованием

Ненужен.

Начни поиск по ключевым словам «архиватор» и «компрессор». Затем ищи по tar, dar, lzma и zstd.

Потом почитай про gpg. Сжатые архивы рекомендую шифровать так:

gpg -r john.doe@example.com --cipher-algo AES256 --compress-algo none --encrypt archive.tar.xz
aquadon ★★★★★ ()

а что не так у рара с лицензией?
у него официальный trial с фактически неограниченным временем работы без урезания функциональности
попробуй его самый быстрый режим «-m1» с маленьким словарём (1МБ) для ускорения сжатия
rar a -hpPASSWORD -s -m1 -md1 -ms archive.rar /path/to/data/
Добавть опцию «-mt4», чтобы ограничиться 4 потоками, а иначе рар съест столько потоков, сколько ядер у проца (программа, выполняющаяся в фоне, не должна вешать всю систему, блеать!)

Egor_ ()
Последнее исправление: Egor_ (всего исправлений: 2)
Ответ на: комментарий от xgatron

архиватор или компрессор? Вот tar.* точно совсем не лучше использовать, если надо распаковать один файл из нескольких, да еще в большом пожатом архиве.

Придирка к словам? Почему это tar не лучше?? Вопрос в удобстве.. Он есть везде в сборках Линукса.. А остальные надо доустанавливать. Поскольку админю десятки серверов, искать какой архиватор на каком серве есть, а на каком нет - кому оно надо. Если зовут решить задачу - сразу пользую то, что есть по умолчанию в линуксе. По той же причине не устанавливаю другие редакторы, а пользую nano. и т.д.

Почему для tar проверяли только gzip упаковщик?

Я не проверял.. я привел его как пример. время упаковки = размер который получится. Просто для сравнения с другими. Использовать же его не буду. Если внимательно читали. Нужно шифрование. Он это не умеет. Смысл его дальше тестировать (проверять)?

приведенные ниже команды прекрасно загружают все доступные ядра/потоки. Как проверял?

вводил опцию "-mmt4" "-mmt=4" "-mmt=04" - ни один из вариантов не загрузил 4 ядра. -mmt=on - не пробовал.. Если заработает тогда вопрос: А как указать что надо именно 4 ядра а не все что доступно в системе? упаковщик xz я так понимаю позволяет поставить пароль на архив??

Спс за примеры. попробую и эти варианты.

ZevSua ()
Ответ на: комментарий от aquadon

Потом почитай про gpg. Сжатые архивы рекомендую шифровать так:

Ты не внимательно читал пост.. gpg ненужен изза сложности реализации (это надо же все ключи помнить дотошно). Так еще и на винде не открою. Смысл в нем?

попробуй его самый быстрый режим «-m1» с маленьким словарём (1МБ) для ускорения сжатия

Спс .попробую

ZevSua ()
Ответ на: комментарий от ZevSua

zstd.exe, перестаньте лениться, поставьте архиваторы на всех машинах.

xDShot ★★★★★ ()
Ответ на: комментарий от ZevSua

Придирка к словам?

не совсем. Все же нужно уточнить, что именно вы рассматриваете

Почему это tar не лучше??

зависит от ситуации. Вот у вас 300 файлов в архиве, который в распакованном виде занимает 200ГБ. Попытка достать 1 файл приведет к распаковке всех 200ГБ, да и не только это — для получения списка файлов нужно все распаковывать.

Он есть везде в сборках Линукса..

так себе оправдание. Не пользоваться чем-то более удобным и/или подходящим из-за того что tar везде есть…

искать какой архиватор на каком серве есть, а на каком нет - кому оно надо.

не знаю, что у вас за сервера, но есть ansible, chief и компания. После них не надо искать

Использовать же его не буду. Если внимательно читали.

ну, это ваше дело выбирать, как себя ограничить. Допустим я не понимаю, зачем владельцу понадобится дамп БД, а значит не вижу причин не использовать то, что работает

А как указать что надо именно 4 ядра а не все что доступно в системе?

не знаю, ради интереса указал -mmt=4, создало 6 потоков из которых процессор грузят >5% только 4

упаковщик xz я так понимаю позволяет поставить пароль на архив??

нет конечно, тут где-то рядом были принципы unix, про делать одно дело хорошо. Поэтому tar архивирует, xz жмет, а gpg шифрует. А еще есть par2, он вроде про добавление инфы для восстановления

xgatron ()
Последнее исправление: xgatron (всего исправлений: 1)

возможность шифрования (всеже в шаре хранить открытый бекап - тупо). Также возможность спокойного его открытия в Windows

Очевидный zip(1). В винде даже доставлять ничего не надо будет(наверное).

недостатки и zip и 7z (c lzma) - в том что они используют всего одно ядро

Можно спокойно забить на это. И не отбирать ресурсы у бд(или что у тебя там).

cppsektant ()
Ответ на: комментарий от ZevSua

это надо же все ключи помнить дотошно

Не нужно.

Так еще и на винде не открою.

Откроешь.

Все, если такой лентяй, то больше советовать не буду.

aquadon ★★★★★ ()

Для бэкапов существуют системы хранения бэкапов. Со встроенной дедупликацией, сжатием, шифрованием. От самой примитивной zbackup (не для винды), до каких то коммерческих. Есть что то свободное и кроссплатформенное и говорят даже функциональное, названия не знаю (пользуюсь zbackup).

kirill_rrr ★★★★★ ()
Последнее исправление: kirill_rrr (всего исправлений: 1)

недостатки и zip и 7z (c lzma) - в том что они используют всего одно ядро!!!. Все команды что ест ьв сети якобы для использования большего количества ядер - нифига не дают.

Бред. 7z это lzma (максимум 2 потока) или lzma2 (столько групп по 2 потока, сколько в оперативку влезет). bzip2, gzip2, zip принципиально однопоточны. НО, у bzip2 и gzip существуют многопоточные реализации, pbzip2 и не_помню_как_точно. Про многопоточную реализацию zip не слышал.

kirill_rrr ★★★★★ ()

Зависит от задач и требований. На моих лучше всего tar+xz с максимальным сжатием + gpg

peregrine ★★★★★ ()
Ответ на: комментарий от cppsektant

Очевидный zip

У него проблема с кодировками, они не описаны стандартом, потому линуксовые архивы в вантузе будут глючить так же как и виндовые в линуксах.

peregrine ★★★★★ ()
Ответ на: комментарий от peregrine

проблема с кодировками, они не описаны стандартом

6.3.0 | 2006 | Описано хранение имен файлов в формате Юникод (UTF-8); расширен список поддерживаемых алгоритмов шифрования, сжатия (добавлены такие современные методы, как LZMA и PPMd+) и хеширования

Проблема не на этой стороне. Слышал как некоторые всё ещё сидят на ломанном rar4 или даже 3 и жалуются, что у них ничего не открывается.

boowai ★★★ ()
Последнее исправление: boowai (всего исправлений: 1)
Ответ на: комментарий от peregrine

На винде линуксовые архивы отлично открываются. Проблемы только на линуксе, хотя и решаемые.

KivApple ★★★★★ ()
Ответ на: комментарий от Egor_

а что не так у рара с лицензией?

Триал 40 дней

без урезания функциональности

Не путай юридические вопросы (лицензия) и технические (активация).

fornlr ★★★★★ ()

если для простых файликов, то rar наше все, за исключением лицензии и спец.файлов :(
Женька за годы развития тудысь все функции кажись накидал. в рар5 *никс права и владельцы появились. осталось только спец. файлы прикрутить и вообще будет каеф. за такое можно и заплатить.
если бекапы системы то sqashfs.
тар не удобен прозивольным доступом к одному файлу в аграменном архиве.

pfg ★★★★ ()
Ответ на: комментарий от fornlr

Триал 40 дней
без урезания функциональности
Не путай юридические вопросы (лицензия) и технические (активация).

ну так установить триал - это абсолютно законная операция
установил и забыл :-)

вот если бы ты делал какие-то действия для взлома триала или обхода технических ограничений - это было бы нарушение
а так состава преступления в твоих действиях «поставил чтобы попробовать и забыл о нём» не найдут

Egor_ ()
Последнее исправление: Egor_ (всего исправлений: 1)
Ответ на: комментарий от Egor_

Бред. Опять всё в кучу.

Нарушение закона и нарушение лицензии — опять же разные вещи.

Хватит ерунду выдумывать. Лицензия этого не позволяет — точка.

fornlr ★★★★★ ()
Последнее исправление: fornlr (всего исправлений: 1)
Ответ на: комментарий от fornlr

Нарушение закона и нарушение лицензии — опять же разные вещи.
Лицензия этого не позволяет — точка.

Я очень тёмный в юридических вопросах.
Чтобы я соблюдал чей-то там закон, распишите мне пожалуйста подробно связанную цепочку событий от факта моего нарушения лицензии до каких-либо действий по насильственному отъёму у меня моих материальных ценностей.

А пока такой причинно-следственной связи нет, вы можете молиться на свою лицензию сколько пожелаете.

Egor_ ()
Ответ на: комментарий от Egor_

Я очень тёмный в юридических вопросах.

В элементарной логике тоже. Не тупи - ты сам чего-то начал приплетать этот бред. Не я.

«насильственному отъёму у меня моих материальных ценностей» - что за чушь мелет…

что не так у рара с лицензией? - лицензия этого не позволяет

Всё. Не надо остальное выдумывать.

fornlr ★★★★★ ()
Последнее исправление: fornlr (всего исправлений: 3)
Ответ на: комментарий от fornlr

чувак, твои доводы ограничены «мы поклоняемся лицензиям»
ничего разумного ты сказать не смог
у тебя просто какой-то суеверный страх, который ты не можешь объяснить рационально

Egor_ ()
Ответ на: комментарий от Egor_

поклоняемся

Не выдумывай.

Вопрос был «что не так с лицензией?». На него был элементарный ответ, который даже дуб-дубом поймёт. Но не ты.

Поклоняться ей или нет, что с тобой сделают или с твоими котами в случае нарушения лицензии — это уже другие вопросы.

fornlr ★★★★★ ()
Последнее исправление: fornlr (всего исправлений: 1)
Ограничение на отправку комментариев: только для зарегистрированных пользователей