LINUX.ORG.RU
ФорумAdmin

Разыскивается адекватное облачное хранилище для бэкапов

 ,


0

5

Допустим, мне нужно куда-то бэкапить 8 терабайт различного хлама. От бэкапилки требуется ровно три вещи: уметь в инкрементальное дописывание данных, иметь линуксовый клиент (или использовать один из общеизвестных протоколов типа rsync) и уметь сохранять все POSIX-метаданные — такие, как mtime, права доступа, xattrs/ACLs, хардлинки и симлинки.

Например, взять Backblaze:

  • Backblaze Personal Backup ($5/месяц, неограниченный объём) имеет крайне привлекательную цену, но мне не подходит, т. к. нет линуксового клиента;
  • B2 Cloud ($5/(месяц*TB)) — уже дороже, но оно представляет собой «тупое» object storage без поддержки метаданных на файлах.

Иными словами, нужно облако, в которое можно заливать бэкапы пофайлово (а не одним большим tar-архивом), при этом не теряя метаданные. Если есть что-то, что понимает формат btrfs send — оно тоже подойдёт (но вряд ли такие существуют).

Помимо этого (вполне возможно, что таких нет), я буду рад услышать об инструментах для бэкапа, умеющих работать с object storage напрямую. Один уже назвали — duplicity.

👍👍👍

Последнее исправление: intelfx (всего исправлений: 5)

Если есть что-то, что понимает формат btrfs send — оно тоже подойдёт

Отличная шутка.

King_Carlo
()
Ответ на: комментарий от Deleted

Amazon S3 (и Glacier) — это тоже тупое object storage. Не подходит.

intelfx 👍👍👍
() автор топика
Ответ на: комментарий от Deathstalker

3.30 ₽/ГБ в месяц

Слишком дорого.

intelfx 👍👍👍
() автор топика
Ответ на: комментарий от anonymous

Интересно. А в чём подвох? Или действительно $5/месяц с неограниченным объёмом пространства?

---

А, ACL/xattrs не умеет.

intelfx 👍👍👍
() автор топика
Последнее исправление: intelfx (всего исправлений: 1)

На сайте world backup day помню натыкался на ссылку с обзором сервисов онлайн бэкапов, вот она может поможет.

greynix
()

На правах слабоумия и нищебродства

Я тут пилю блочное устройство поверх пастебинов :3 Но хз даже, потянет ли результат 8Тб (думаю, счастье будет, если потянет 8Гб), и таки там будет больше подходить f2fs

derlafff
()
Последнее исправление: derlafff (всего исправлений: 1)
Ответ на: комментарий от kalterfive

Мало и дорого. Я разорюсь платить за 8TB. Не говоря уже о том, что это всё то же самое блочное хранилище без метаданных (т. е. оно строго хуже backblaze).

intelfx 👍👍👍
() автор топика

Почему не взять dropbox business? Там 10 баксов за юзера, 5 юзеров минимум, анлим. То есть за 50 бакинских получаешь анлим, можешь еще и разным людям папок нараздавать, если надо.

DiKeert
()
Ответ на: комментарий от DiKeert

Почему я агитирую за dropbox - у него есть история версий файлов, на 30 дней. Можно за бабло расширить до 1 года. Имхо для казуального использования - самое оно. Поставил, включил, работает.

DiKeert
()
Ответ на: комментарий от DiKeert

Потому что object storage на моих объёмах я могу заиметь и за $20/month. Дропбокс дороже backblaze и у него нет преимуществ.

intelfx 👍👍👍
() автор топика
Последнее исправление: intelfx (всего исправлений: 1)
Ответ на: комментарий от DiKeert

Неужели так трудно прочитать заглавное сообщение треда?

Мне не нужно «казуальное использование». И история версий файлов тоже как собаке стоп-сигнал — тем более такая, которая никак не скриптуется.

Есть вполне конкретный список пожеланий: инкрементальная синхронизация и хранение всех POSIX-метаданных (mtime, permissions, xattrs, ACLs, жёсткие и символические ссылки). Дропбокс последнее не умеет.

intelfx 👍👍👍
() автор топика
Последнее исправление: intelfx (всего исправлений: 1)

Рекомендую посмотреть в сторону или файловых систем, работающих поверх объектного хранилища (пример: s3ql), или систем бэкапирования, умеющих работать с объектными хранилищами (пример: duplicity).

Harliff 👍
()
Ответ на: комментарий от Harliff

О, круто, такое уже есть. Я уже было вознамерился свой велосипед писать.

intelfx 👍👍👍
() автор топика
Последнее исправление: intelfx (всего исправлений: 1)

ТС, напиши на каком сервисе остановишься в итоге, какой клиент и сколько заплатишь. Последнее разумеется необязательно.

anonymous_sama
()
Ответ на: комментарий от Harliff

Duplicity.
Можно бакапить на s3. Запускалка для duplicity : Backupninja. Там есть шаблоны.

Bers666
()

Допустим, мне нужно куда-то бэкапить 8 терабайт различного хлама.

Ну вот и прикинь среднюю стоимоть 8 терабайт сейчас, + затраты на эл/эн и обслуживание. За 5$ в месяц тебе никто ничего не продаст вменяемого.

Поэтому ставь NAS под кровать. Или GTFO. Губу а то раскатал, дорого ему.

anonymous
()
16 февраля 2017 г.
Ответ на: комментарий от anonymous_sama

К сожалению, пока ничего не видно. duplicity работает по принципу «full + цепочка incremental», а всякие block-level incremental вещи типа Attic/Borg работают только с файловыми системами и наверняка интенсивно используют random access.

intelfx 👍👍👍
() автор топика
Ответ на: комментарий от Bers666

Тем, что придётся либо раз в несколько месяцев аплоадить 8 TB заново, либо держать и при восстановлении скачивать 50% мёртвых данных.

intelfx 👍👍👍
() автор топика
Ответ на: комментарий от intelfx

Нет, это было issue, я прочитал про «поддержку B2» прямо из поискового запроса. Зато когда я перепроверил поддержку B2, я случайно нашел какой-то hubic, тоже с очень интересными ценами.

anonymous_sama
()
1 июля 2017 г.
Ответ на: На правах слабоумия и нищебродства от derlafff

Как результат?

Как ты данные хранить хотел? По какому принципу конвертировать в символы? Потери большие?

Я раньше с картинками хотел такое сделать, потери меньше 0.10% на заголовки при максимальном размере в вконтакле в 2 мб. Если больше, то начинает работать сжатие, и данные убиваются. Потом осознал, что это дрочево и бред, и забил. Хотя, в теории, так можно хранить продуктивно какие-то данные типа фильмов, и фиг их кто изымет. Но мне это не нужно и поэтому забил. Хотя скрипт для конвертирования данных в картинки до сих пор остался.

letni
()
Последнее исправление: letni (всего исправлений: 1)
Ответ на: комментарий от letni

Как результат?

Забил, кончилось время на этапе, когда пытался достичь стабильной записи-чтения. Где-то баг был плохой.

Как ты данные хранить хотел? По какому принципу конвертировать в символы? Потери большие?

base122. Дисковый блок по идее умещается в типичную пасту

derlafff
()
Последнее исправление: derlafff (всего исправлений: 1)
1 июля 2018 г.
Ответ на: комментарий от anonymous

А оно уже научилось сжимать файлы в 2018 году?

anonymous
()
27 августа 2018 г.

Так что всё таки нашёл, ТС? вроде restic неплох, единственное почти, что умеет Google storage нативно.

Bers666
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.