Бэкапы

С недавних пор начал делать бэкап одного проекта, наработки которого не хотелось бы потерять.

Весь проект находится в одной папке, внутри которой есть папки с документацией, кодом и т.д..

На обычную юсб флешку. Сначала сделал полную копию всего. Далее просто копирую целиком папки с изменёнными данными. Например, если я внёс какие-то изменения в код, то я полностью потом копирую все файлы с программным кодом на флешку. Если появилась новавя документация, то я делаю копию всей документации. Ну и т.д.. Каждый раз при копировании на флешку я создаю новую папку и в качестве имени ввожу дату копирования.

Мне ни разу такого не требовалось, честно говоря.

Я у пользаков на такое попадал точно и вроде у себя тоже, но это не точно.

Некоторым бекапам уже по 10 лет, до сих пор все разворачивается.

В смысле бэкап 10 лет разворачивается?

Сейчас не настроено, руки не доходят, но раньше использовал Duplicity с отправкой писем через mutt, всё работало, планирую к этой связке и вернуться

А сейчас как это устроено? Какие хорошие практики?

Всё те же, отправка сообщения.

На обычную юсб флешку.

Это не бэкап, «обычная юсб флэшка» дохнет в любой момент времени, а шансов с неё восстановить меньше чем с битой дискеты.

Это не является проблемой в моём случае. Если отрыгнёт флешка, то данные всё равно останутся на рабочем блине.

Когда у вас сдохнут данные на харде в это же время может сдохнуть и флэшка. Флэшка by design не средство для хранения информации, для переноса да, ещё можно пользовать, но опять-таки если очень нужно, что бы в точке прибытия данные прочитались, то крайне желательно записывать на более чем одну флэху.

Бэкап вообще должен быть автоматическим, вот это вот всё «а я кладу на флешку с датой в имени каталога, а ещё я раз в 10 лет кладу архив в гугл клауд, если не забуду, а ещё у меня ссд из китая» - полная порнография. Уже сколько раз мне звонили знакомые с горящими жопами «ааа, у меня флешка отрыгнула, ноутбук не грузится, бэкап где-то доджен быть в почте, но я его не нашёл, что делать, там моя работа за месяц!!!???»

Бэкап вообще должен быть автоматическим

Абсолютно точно!
u5er прислушайтесь к умным словам Бэкапы (комментарий)

бэкап где-то может быть в почте, что делать, там моя работа за месяц!!!???»

Воистину! Реально именно такая хрень встречается с завидной регулярностью.

И куда слать? Везде требуют телефон для регистрации аккаунта, на всех не напасешься.

Ему клоуна надо поставить, если честно. Начнём с того, что я нигде не писал про ссд. Далее, если ноут не грузится, то это не значит, что данные потеряны. Может там типичный деб, который перестал грузиться из-за обновления дров на условную новидео.

Что касаемо тебя. Ты вот только критикуешь, но не предлагаешь ничего взамен. Ну и на последок. Какова вероятность того, что одновременно отрыгнёт флешка и блин?

Ты учти, что у меня за всю мою практику блины ни разу внезапно не откисали с потерей данных и поэтому я считаю их достаточно надёжным хранилищем данных. А вот ссд я использую не так давно, но уже за относительно короткий промежуток времени я огрёб кучу проблем с ними, поэтому никакие важные данные на них не храню.

Бэкап вообще должен быть автоматическим

Возможно, но я ленивая задница, поэтому мне проще ручками скопировать файлы тогда, когда я посчитаю нужным.

И да, в моём случае стоит задача не бекапить данные на суровом проде, а бэкапить данные с одной домашней машины.

Так я еще со сжатием же делал (высушил).

Чувак, осиль уже гит что ли…

А то прям как в свой 2004 попал.

Ну не знаю. Году в 2008 у меня на обычной трансенд флешек на 8 Гб лежало всё, что я таскал с работы домой и наоборот. И работало это несколько лет безотказно. Но! На флешке была как бы копия, оригиналы все равно лежати на компах.

Таких много, да :)

rsync с опцией –link-dest

инкремент за счет использования жестких ссылок, скрипт каждый день создает каталог с текущей датой.

у меня так хранятся последние 90 дней. когда нужен или потерялся какой-то файл просто ищешь в файловой системе. наглядно и этот бекaпап роздан в сеть.

недостаток в том что старые каталоги удаляются медленно, но не критично

У меня уже несколько лет используется сетап с tar --listed-incremental=previous.snar. Каждый год делается бекап разницы с изначальным бекапом, ежемесячно разница с готовым, еженедельно - с ежемесячным и ежедневно - с понедельничным. Архивы сложены в дерево папок по уровням типа L0_2021-05-11T11-36/L1_2025-01-03T11-11/L2_2025-03-03T10-07/L3_2025-03-17T09-53, по правильному для восстановления надо через tar -g распаковать каждый уровень поверх предыдущего, но по факту нужный файл (пролюбленный пользунами) достаётся из конкретного небольшого тарбола и даже гнутый тар не нужен.

Тарболы сразу сжимаются в zstd, в свободное время пережимаются в xz. К ним создаётся информация для восстановления в виде par2 для противодействия bitrot. Поскольку тар такой тар, я отдельно сохраняю список файлов для быстрого поиска.

Из плюсов системы - все существующие артефакты иммутабельны. Их можно шифровать, заливать/переносить в облака, на флешки, куда угодно, хранить вечно или удалять всё, кроме самой последней ветки в любой момент. На работу бекапилки это не повлияет.

если редактируешь фото/видео, то видимо всё же нужна.

Так-то, да, но занимают они много места исключительно потому что форматы заточены на передачу данных, а никак не на архивирование со всей историей.

Вообще человек за компьютером с помощью клавиатуры и мыши не способен генерировать информацию со скоростью превышающей какие-нибудь единицы Кбит/с. А значит в теории каких-нибудь 10 Гб (на самом деле гораздо меньше) может быть достаточно, чтобы сохранить всю историю того, что делал человек всю жизнь.

Какова вероятность того, что одновременно отрыгнёт флешка и блин?

Если оно будет воткнуто в один ПК, то высокая.

поэтому никакие важные данные на них не храню

Важные данные нужно бы хранить на разных типах накопителей.

Вообще человек за компьютером с помощью клавиатуры и мыши не способен

ctrl+c, ctrl+v считается генерированием информации? А если в рандомные места? Или в заранее запланированные?

С недавних пор начал делать бэкап одного проекта, наработки которого не хотелось бы потерять.

Весь проект находится в одной папке, внутри которой есть папки с документацией, кодом и т.д..

На обычную юсб флешку.

Компоспец ласково одобряет этого регистранта.

ctrl+c, ctrl+v считается генерированием информации?

Конечно, примерно 4 байт :-)

Про гит в курсе. Он имел бы смысл, если бы у меня была бы своя репа. Под этот проект её заводить не хочу. По крайней мере пока что.

Если оно будет воткнуто в один ПК, то высокая.

Большую часть времени флешка лежит рядом на столе.

Важные данные нужно бы хранить на разных типах накопителей.

Как раз я так и делаю - у меня рабочие данные лежат на блинах, а их копии - на флешке.

Не слышали про «правило 3-2-1»?

Ок, значит на самом деле не делаю бэкапы и несу лютое 4.2. Прошу модераторов удалить мои сообщения этой теме, т.к. они нарушают правила форума :(

restic

У меня все простенько: Основные данные лежат на ZFS RAIDZ-1 (3 одинаковых диска по 2ТБ. В сумме пул 4 ТБ), По USB подключены два диска с ZFS по 4 ТБ каждый, на один делается инкрементальный бекап с помощью rsync на другой с помощью zap.

Почему сразу сливаешься? Все же какие-то резервные копии у тебя делаются. А остальные просто завидуют, что у них и таких нету :)

Почему сразу сливаешься?

Почему сразу? Я маленько побрыкался, увидел что тут ребята с высоким КСВ и только после этого уже слился :)

И куда слать?

На почту вестимо.

Везде требуют телефон для регистрации аккаунта, на всех не напасешься.

Что значит «на всех не напасешься?». Например я шлю на один ящик.

Ты вот только критикуешь, но не предлагаешь ничего взамен.

«взамен» уже 100500 раз обсуждалось, нового ничего ещё не изобрели.

Какова вероятность того, что одновременно отрыгнёт флешка и блин?

Афигительно не нулевая. Я выше уже написал, флэшка ака дискета, мрет внезапно и в независимости от погоды на марсе.

Ты учти, что у меня за всю мою практику блины ни разу внезапно не откисали с потерей данных и поэтому я считаю их достаточно надёжным хранилищем данных.

Удачи вам с таким подходом.

А вот ссд я использую не так давно, но уже за относительно короткий промежуток времени я огрёб кучу проблем с ними

Попробую вангануть, купили «noname/дешмань» и оно оказалось не торт.

Бэкап вообще должен быть автоматическим

Возможно, но я ленивая задница, поэтому мне проще ручками скопировать файлы тогда, когда я посчитаю нужным.

Т.е. чуть чаще чем никогда.

И да, в моём случае стоит задача не бекапить данные на суровом проде, а бэкапить данные с одной домашней машины.

Данные не разделяются на домашние/суровый-прод, они разделяются на нужные и ненужные.

rdiff-backup

Про фс снапшоты можете написать, кто пользуется. Особенно про то, насколько беспроблемно/удобно можно восстановить что-то удалённое или испорченное.

Тогда и писать не о чем. Чатгпт попроси написать скрипт, который будет в яндекс облако какое твои файлы периодически копировать, удаляя старые архивы так, чтобы было, например, последний и два предыдущих

по этим архивам нельзя сказать удалён ли некоторый файл(и когда удалён) или просто не менялся

Два архива распаковать и диффом сравнить 🤦🏿

Если есть свой сервер, где именно бекапы хранятся, то проще там btrfs создать. Перед начала «бекапа» снапшот делать, а затем копировать файлы rsync’ом. Можно force zstd:9 какой выставить и получится по-сути «архив». Но мусье превереда и должен набивать шишки сам — таков удел всех упоротых противников той или иной технологии

Году в 2008 у меня на обычной трансенд флешек на 8 Гб лежало всё, что я таскал с работы домой и наоборот.

Вот я про это же, вы использовали её как дискету.

И работало это несколько лет безотказно.

У меня тоже почти все флэшки которые я пользовал начиная с 256Мб начала 2000-х живы. Вроде была одна которая сдохла в самом начале своего жизненного пути, я из-за скоропостижной смерти про нее постоянно забываю.