LINUX.ORG.RU
решено Форум — General

par2 для резервных копий на DVD

 , ,


0

2

Всем здравствуйте! Решил скопировать ценные для меня данные на DVD-R. Поскольку диски могут оказаться повреждены со временем, а в некоторых данных недопустимы неточности (например, исполняемые файлы, сжатые данные), решил добавить избыточности при помощи par2. И думаю, как лучше это организовать. Можно заполнять каждый диск, например, на 3 гигабайта, а остальное отдавать под контроль чётности. Тогда, вставив диск, можно в случае чего просто прогнать его par2verify, и если не сильные повреждения, скопировать и par2repair. Но если, например, один из дисков будет утерян, то его невозможно будет восстановить. Если же сначала создать образы на жёстком диске, составить parity, создать образы под него и записать всё на диски, то, в случае утраты одного (или несколько, смотря сколько блоков восстановления) диска, его можно будет восстановить за счёт остальных. Но возникают трудности с par2verify — придётся переносить всё на жёсткий диск и проверять. Если прогонять по одному диску, то всё остальное покажет как missing (как следствие, покажет Repair is not possible и в случае повреждения будет неясно, можно ли всё на самом деле восстановить, пока не откопируешь образы на жёсткий диск), а из труб (First In — First Out pipes) par2 не забирает данные. Нет ли какого-нибудь более изящного способа (предполагается, что привод один)? И как лучше сделать parity?

Ответ на: комментарий от anonymous

Жёсткий диск (от терабайта) стоит больше тысячи (на два — несколько тысяч) рублей. Можно арендовать место в облаке, но перекачивать через Интернет несколько десятков гигабайт может быть долго, проблематично из-за ограничений, да и доступ туда может быть ограничен. Хочется иметь локальный back-up.

ShiningRiver ()
Ответ на: комментарий от anonymous

С другой стороны, иногда, когда жёсткий диск выходит из строя, возможна потеря всех данных, содержавшихся на нём. У меня уже два диска из строя вышли. С одного удалось восстановить около 900 гигабайт данных из терабайта (точнее при помощи ddrescue удалось вытащить 900 гигабайт, но некоторые файлы были повреждены), другой же, после выхода из строя, начал издавать странные звуки и вообще в системе перестал упоминаться (возможно, вышел из строя контроллер). Если же повреждается DVD, то теряешь не больше четырёх с половиной гигабайт, и эту информацию можно восстановить за счёт остальных дисков при помощи par2, если хватает блоков для восстановления.

ShiningRiver ()
Ответ на: комментарий от ShiningRiver

С DVD зато мороки больше на порядок, ведь любые бекапы надо проверять пару раз в год, а таким способом будет очень много физических носителей, и при самой проверке вероятней повредить. Приводы тоже деграцируют, как на запись, так и на чтение.
Записывай по первой схеме, но два раза, на диски из разных партий. Избыточность можно и меньше. Если обнаружится деградация, то выкидывай всю партию.
Или по первой схеме, а вторую копию хранить не локально. И так же считай всю партию потерянной, если что.
И не очень понятна ценность такой локальной копии. Только если у тебя интернет меньше 10Мбит/c.

boowai ★★ ()

Как вариант можно генерировать par2 не для всего содержимого диска, а для отдельных каталогов, подгоняя размер. И делать отдельный диск чисто с копиями par2-файлами на случай повреждения тех, которые вместе с данными хранятся.

Правда, всё равно геморройно будет.

По опыту еще ни разу не встречал, чтобы диск не читался совсем. Его мог не читать привод с убитой оптикой, могли некоторые блоки не читаться, но как минимум дерево каталогов можно было во всех случаях получить.

Radjah ★★★★★ ()
Ответ на: комментарий от anonymous

Ну да, понадобится больше 16-ти месяцев, но и на обработку DVD уйдёт 42 дня, не считая перепроверок и смены дисков. И будет записано способом ТС больше чем 17 тысяч DVD.
В отрыве от задачи мало смысла обсуждать, но с DVD это тоже не реально выглядит. Я за HDD в составе круглосуточной системы. Если ты такими объёмами оперируешь, то можно и до ленточных библиотек скатиться. Но в какой дыре у тебя будет 50ТБ, но нет интернета быстрее.

boowai ★★ ()

DVD не живучи однако. полтора десятка лет и лаковый слой слезает :(

hdd продержится дольше, в облаке минус, что он где-то там, а не в твоих руках.

если интерес в домашнем холодном архиве смотри в сторону M-DISC. гарантируют чуть ли не 1000 лет сохранности. диски стандартные - cd dvd и bluray
для записи потребуется спец.привод. читаются на любом обычном приводе.
для абсолютизма - стандартно три копии, размещенные в трех географически удаленных местах :)

pfg ★★ ()
Ответ на: комментарий от pfg

Ну, в принципе диски можно и перезаписывать. Например, два раза в месяц с дисков снимаются образы на жёсткий диск, вытаскиваются par2-файлы и проверяются. Если есть ошибки — проводится восстановление, и повреждённые диски заменяются новыми. Вообще, в следующем году планирую купить Blu-Ray привод, но это если сессию сдам так, чтобы стипендия была. Там, думаю, можно будет, например, 3 диска с данными + 1 для восстановления.

ShiningRiver ()
Ответ на: комментарий от ShiningRiver

из одноразово записываемых дисков делать псевдо raid с четностями и прочими прибамбахами имхо бессмысленно и глупо.
запиши три одинаковых диска и положи их в разные места. вероятность разрушения такой системы можешь почитать в тырнете :) четность даже будет излишняя.
зачем ежемесячная обработка холодного архива ?? держи копию необходимых данных на винте и пользуйся ими.

Кстати используй rar-архивы, Рошал в них избыточность прикутил еще лет десять назад, т.е. весь комплект требумых тобой функций «прям из каропки»

pfg ★★ ()
Ответ на: комментарий от pfg

из одноразово записываемых дисков делать псевдо raid с четностями и прочими прибамбахами имхо бессмысленно и глупо.

Никакой «псевдо-RAID» я делать не планировал. Если файл на один диск не вмещается, есть команды split и cat.

запиши три одинаковых диска и положи их в разные места.

Данных для резервного копирования у меня как бы больше, чем 4 гигабайта (иначе бы не спрашивал, на флешку всё откопировал). Делать несколько копий дисков конечно стоит, но и про par2 не нужно забывать (при помощи него можно реконструировать любой утерянный диск из тех, для которых создавался архив контроля чётности).

зачем ежемесячная обработка холодного архива ?? держи копию необходимых данных на винте и пользуйся ими.

У меня уже два винта из строя вышло. Хочется иметь копию на случай поломки третьего.

Кстати используй rar-архивы, Рошал в них избыточность прикутил еще лет десять назад, т.е. весь комплект требумых тобой функций «прям из каропки»

RAR (как и WinRAR) является проприетарной программой (не путать с UnRAR, хотя оно тоже не полностью свободное — его код нельзя использовать для создания RAR-упаковщика), а при наличии свободной альтернативы я не вижу смысла тащить в систему проприетарщину. Да и зачем? Паковать файл в архив только ради recovery record, когда есть par2create (а если учесть, что архивация и распаковка занимают определённое время)? Или делать многотомный архив ради «томов для восстановления»?

ShiningRiver ()
General