Архивирование больших директорий, продолжение

я всё понять не могу: зачем нужен бекап, в котором часть файлов вчерашние, часть сегодняшние, а часть завтрашние?

А ты не боишься, что у тебя файл Б сделан из А, но в бекапе старая копия Б и новая копия А?

Или разворачивание «бекапа» не планируется, и это просто тренировка/спорт?

зачем нужен бекап, в котором часть файлов вчерашние, часть сегодняшние, а часть завтрашние

в моем случае пригодилось. Это не универсальный инструмент, это просто скрип который берет срез файлов за месяц или год и кладет их в архив, что бы они место не занимали и не мешали поиску в более актуальных данных, но чуть что в них можно было заглянуть. Если вы когда-нибудь пробовали что-то найти в папке с миллином файлов, то вы бы поняли, зачем этот скрипт

Я бекаплю rdiff-ом, меня больше волнует вопрос «запасного бекапа», который льётся на другой сервер по сети.

Использую tar через pipe, или через nc (хотя это то еще извращение). Интересует как проверить что все файлы передались, сверить контрольные суммы не очень хороший вариант, файлов около 10 млн. Можно конечно сделать архив, затем передать его и сверить суммы архивов - но это уже оверхед.

Интересует как проверить что все файлы передались

ну проверка контрольных сумм тут должно быть достаточно. Если возможны потери между серверами, то получения суммы с целевого сервера мне кажется не избежать

Да как проверять то, если проверять сумму каждого файла это серьезно затормозит процесс. Разве что покопаю в сторону этого процесса через pipe.

Да как проверять то, если проверять сумму каждого файла это серьезно затормозит процесс. Разве что покопаю в сторону этого процесса через pipe.

количество архивов быть большим не должно или вы собираетесь не архивы проверять а файлы в них? это не рационально. Либо я вас не понял, либо ваша задача далека от моей

у меня есть много миллионов файлов (разного типа), их нужно передать на другую тачку по сети. Архивировать и передавать их одним архивом - это, как мне кажется, оверхед.

Хотел узнать мнение ваше.

Cтоит рассмотреть возможность добавления информации для восстановления. Программа par2 делает это с помощью кода Рида-Соломона. Предлагаю встроить в скрипт добавление, сверку и восстановление с помощью par2.

Сразу убьется два зайца: как проверить целостность архива после передачи по сети и что делать с битым архивом.

у меня есть много миллионов файлов (разного типа), их нужно передать на другую тачку по сети.

этот скрипт удаляет исходные файлы, я забыл упомянуть, так что для бекапа не подходит в текущем виде, нужно выкинуть кусок из скрипта. Как сказал PtiCa можно использовать par2 (par2 create archive.tar.gz и par2 repair archive.tar.gz.par2) он проверку целостности данных делает и восстанавливает. Мой скрипт решает проблему чтения с диска в плохой большой директории, проверку целостности сюда вносить пока рано, слишком узкая специализация у скрипта

Cтоит рассмотреть возможность добавления информации для восстановления

конечно это бы хуже не сделало, но это усложнит скрип. А добавить пару шагов по созданию par2 данных и проверке архива не сложная задача, тем более там настройки свои есть. Скрипт будет не про то уже тогда

Если будет желание, могу помочь в тестинге и разработке.

Если будет желание, могу помочь в тестинге и разработке.

если есть интерес, то можешь сделать форк или пул реквест с новой функцией. Либо сделать свой скрипт с другими свойствами на основе этого, больше подходящий для бекапов может быть, более универсальный. Я в лицензиях не разбираюсь, но права на скрипт защищать в суде не буду)

я так понял, что речь шла о помощи. Возможно я предложил не приемлемый формат общения. Может создать полноценный репозиторий на гитхабе? Мой скайп такой же как и пользователь в ссылке на гитхаб в этой теме, если предложение в силе.