LINUX.ORG.RU

Как вы организовали бекапы на своих компьютерах?

 , , , ,


3

4

Собственно есть два вопроса:

1. Как вы делаете бекапы?
2. Как вы храните фотки?

Фотки вынесены в отдельны вопрос, потому что это особая категория данных, они не всегда ненужны, их нужно периодически пополнять и изредка просматривать.

Еще не все хотелось бы держать на ssd, места мало, потому идеально было бы иметь возможность выбирать то, что должно быть на диске, а что может хранится на сервере.

Попытался для целей синхронизации использовать ownCloud, как выяснялось его клиент очень медленно синхронизирует множество мелких файлов, 200к файлов объемом ~40 гигабайт клиент оценивает в дни работы (это против сервера который у меня стоит рядом). Думаю причина в webdav, каждый файл отправляется отдельный запросом, с установлением tcp соединения, с раундтрипом. Сервером, куда осуществляется синхронизация, у меня служит HP N40L, еще старая версия, с AMD Turion. После запуска синхронизации CPU на сервере оказался занят под завязку процессами apache2 -DFOREGROUND. SSL у меня был организован через nginx, прямая загрузка данных, по http, ничего не поменяла. База - postgres.

Потому и возник вопрос, чтоб вновь не потратить время на неработающее решение. Поделитесь вашими лучшими практиками. Спасибо.

====================================
Обновлено.

Перешел на Syncthing. Синхронизация происходит между компьютером, ноутбуком и NAS. Для синхронизируемых директорий версионность настроенна только на NAS, в силу доступного объема на диске.
От идеи полной синхронизации всех фалов пришлось отказаться, скорость падала до килобит. Сейчас синхронизируются конкретные директории с значимыми файлами, на проекты с исходниками настроенны исключения для директорий создаваемых в момент сборки.
Из неудобств: для каждого пользователя в системе проще иметь свой экземпляр Syncthing, но в этом случае проедется выставить недефолтные порты, для webui и тот который обычно 22000.
За почти месяц эксплуатации Syncthing v0.14.39 никаких проблем не встретил.

Для фоток организовал синхронизацию с последующей автоматической каталогизацией по модели камеры и дате создания снимка. Каталогизацию выполняет exiftool по cron, вот вызов exiftool из написанного bash-скрипта:

exiftool "-Directory<$DST_DIR/\${model;}/\${datetimeoriginal}" \
        -d '%Y-%m' \
        -if '$exif:model' \
        -r "$SRC_DIR"

Отдельно отмечу про видео, оно не содержит информацию про камеру, как у фоток. У меня 4 устройства, во всех это так. Но принадлежность видео к той или иной камере можно узнать по тегам MajorBrand, CompatibleBrands, они отличаются, по этому для каждой устройства прописаны такие правила синхронизации:

sync_videos_sony_cam() {
    echo "## Sync videos for Sony Cam"
    exiftool "-Directory<$DST_DIR/DSC-H70/\${MediaCreateDate;}" \
        -d '%Y-%m' \
        -if '$MajorBrand eq "MPEG-4 (.MP4) for SonyPSP"' \
        -if '$CompatibleBrands eq "MSNV, mp42, isom"' \
        -r "$SRC_DIR"
}

Всем спасибо за помощь в выборе инструмента синхронизации.

★★★★★

На отдельный хост. Средствами венды.

dk- ()

Поделитесь вашими лучшими практиками

  1. не делаю
  2. у меня нет фото
system-root ★★★★★ ()
Ответ на: комментарий от olibjerd

Это интересно. Можно подробнее? На сайте информации мало. Надежно работает? А то версия 0.14 не внушает доверие.

Aber ★★★★★ ()

Здравствуйте!

Информацию храню так: на жестких дисках ноутбука, планшета, десктопа, на CDR-диске, на внешнем флеш-диске, в облаке mail.ru и диске-облаке Google... :-)

anonymous ()

Реплицирую между машинами при помощи unison.

anonymous ()

1. Как вы делаете бекапы?

syncthing

2. Как вы храните фотки?

syncthing

KRoN73 ★★★★★ ()
Ответ на: комментарий от Aber

Надежно работает? А то версия 0.14 не внушает доверие.

- Локальное состояние (всего) 557141  29745  ~1066 GiB
- Версия v0.14.38, Linux (64 bit)

Где-то около 15 узлов.

KRoN73 ★★★★★ ()

1. На внешний жёсткий диск с помощью Time Machine и Acronis True Image. 2. Фотки и видосы лью на Amazon Glacier.

menangen ★★★★★ ()

1. на внешний HDD с помощью rsync
2. на внешнем HDD и в облаке

djoe ★★ ()
Последнее исправление: djoe (всего исправлений: 1 )

1. Как вы делаете бекапы?

Храню все рабочие файлы в папке, подключенной к облаку, где-то в Dropbox, где-то в iCloud. Сохранил - получил автоматический бекап в облако. Иногда под настроение делаю бекап на внешний винт средствами ОС под вендой и time machine

2. Как вы храните фотки?

И фотки там же. Некоторые папки особо большого размера исключаю из сихронизируемых и храню только на десктопе, где большой hdd и в облаке.

Alve ★★★★★ ()

на флешки и в долгий ящик. Фотки синхронизирую с google и icloud. Если разрешить хранение в сжатом разрешении, они на googledrive места не занимают. А в общем, ни разу не просматривал фотоархив, так что, если пропадут, не расстроюсь

zdesnesru ()
Ответ на: комментарий от Deleted

Да норм, на сервер синхронизироваться а там уже натравить кроном что-то специализированное для версионности, хотя вроде он что-то сам умеет. Только первые впечатления:
1. Показался медленным. Пока еще не разобрался в причинах, CPU на nas слабый, приблизительно 1/2 от производительности ноутбучного Core2Duo
2. Сейчас пытаюсь разобраться как его запустить через systemd системным сервисом, из коробки не работает. Все нужно самому делать.

Что выйдет по результату отпишу.

Aber ★★★★★ ()
Ответ на: комментарий от olibjerd

Если ты его запускаешь как системный процесс, где у тебя конфиг лежит?

Пока у меня так.

	Oct 01 17:58:00 blackbox systemd[1]: Failed to start Syncthing - Open Source Continuous File Synchronization for syncthing.
syncthing@syncthing.service: Failed with result 'exit-code'.
Я вообще не очень с systemd.

Aber ★★★★★ ()
Ответ на: комментарий от Aber

Показался медленны

Обязательно следует запустить synchting-inotify, без него работает, но жрет. Это я лично прочувствовал.

Иначе - не знаю. Вижу иногда, что поджирает у меня, тогда стопаю демон. Часто это происходит когда соседние хосты недоступны.

Использую этот реп https://copr.fedorainfracloud.org/coprs/decathorpe/syncthing/ , unit и inotify там работают в центоси из коробки

Deleted ()

1. Как вы делаете бекапы?

git push на сервер с raid.

2. Как вы храните фотки?

Не храню фотки.

redgremlin ★★★★★ ()

1. rsync 2. rsync

Фоток 3 экземпляра в разных местах. 1 диск включается только для заливки.

gutaper ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.