Оптимальный способ бэкапа

0

2

Задача: в сумме есть около 100 Гб контента. Контент этот в большинстве своём картинки и электронные письма, заархивировать его нельзя — просто не хватит места на диске.

Нужно этот контент скопировать в хранилище Hetzner BX 20.

Вопрос: Как это сделать наилучшим образом? С учётом того, что имеется много мелких файлов и запихнуть их в один архив не представляется возможным.

Ссылка

←	Почему блокируется краулер?

Что взять для решения такой задачи?

→

rsync и производные.

vvn_black ★★★★★
(12.02.20 10:29:36 MSK)

Варианты доступа к хранилищу Hetzner BX 20?

futurama ★★★★★
(12.02.20 10:31:23 MSK)

На такой обьем нужна быстрая передача и сжатие

Как вариант можно поднять бэкап сервер с фс со сжатием и снимками. Btrfs, zfs. Rsync в режиме демона

На проде все бэкапить lsyncd

ism ★★★
(12.02.20 10:34:09 MSK)

Ответ на: комментарий от ism 12.02.20 10:34:09 MSK

На такой обьем нужна быстрая передача и сжатие

Ограничение по времени ТС не ставил. А что такое «оптимально» каждый решает для себя.

futurama ★★★★★
(12.02.20 10:35:31 MSK)

Ссылка

Ответ на: комментарий от futurama 12.02.20 10:31:23 MSK

FTP(S)/SFTP/SCP/Samba/HTTPS

~~Twissel~~ ★★★★★
(12.02.20 10:37:35 MSK) автор топика

Ссылка

Ответ на: комментарий от ism 12.02.20 10:34:09 MSK

Чересчур сложно. В первую очередь там нужно переписывать само веб-приложение, чтобы всю эту «статику» грузило сразу куда-то в облако, а не на «локальный» VPS.

Этот самый бэкап рассматриваю как временное решение.

~~Twissel~~ ★★★★★
(12.02.20 10:45:25 MSK) автор топика

Ссылка

Ответ на: комментарий от vvn_black 12.02.20 10:29:36 MSK

На Хетцнер-хранилище, ЕМНИП, нет rsync. Там тупо сторедж.

~~Twissel~~ ★★★★★
(12.02.20 10:48:49 MSK) автор топика
Последнее исправление: Twissel 12.02.20 10:49:08 MSK (всего исправлений: 1)

запихнуть их в один архив не представляется возможным.

Почему?

legolegs ★★★★★
(12.02.20 10:50:20 MSK)

Ответ на: комментарий от ism 12.02.20 10:34:09 MSK

Поскольку заказчик дуб,возможно, что самое простое решение копировать этот мусор ему на внешний винт.

~~Twissel~~ ★★★★★
(12.02.20 10:50:47 MSK) автор топика

Ответ на: комментарий от legolegs 12.02.20 10:50:20 MSK

просто не хватит места на диске.

~~Twissel~~ ★★★★★
(12.02.20 10:51:56 MSK) автор топика

Ответ на: комментарий от Twissel 12.02.20 10:51:56 MSK

tar c dir/ | ssh host "cat > archive.tar" уже запретили?

legolegs ★★★★★
(12.02.20 10:54:12 MSK)

Ответ на: комментарий от Twissel 12.02.20 10:48:49 MSK

Есть. Там даже BorgBackup есть.

vvn_black ★★★★★
(12.02.20 10:55:52 MSK)
Последнее исправление: vvn_black 12.02.20 11:13:45 MSK (всего исправлений: 1)

Ответ на: комментарий от Twissel 12.02.20 10:50:47 MSK

https://ru.hetzner.com/hosting/storagebox/bx20

FTP
FTPS
SFTP
SCP
Samba/CIFS
BorgBackup
rsync через SSH
HTTPS
WebDAV

рсинкай в свое удовольствие.
и скопирует и –checksum гарантирует что 100% скопировано.

pfg ★★★★★
(12.02.20 11:48:02 MSK)

Ответ на: комментарий от pfg 12.02.20 11:48:02 MSK

Не читал, но одобряю.

Вопрос решен

~~Twissel~~ ★★★★★
(12.02.20 12:50:32 MSK) автор топика

Ссылка

Ответ на: комментарий от legolegs 12.02.20 10:54:12 MSK

А как бы сделать тоже самое, только с компрессией?

~~Twissel~~ ★★★★★
(14.02.20 18:45:41 MSK) автор топика

Ссылка

Ответ на: комментарий от legolegs 12.02.20 10:54:12 MSK

tar -cz

~~Twissel~~ ★★★★★
(14.02.20 20:53:13 MSK) автор топика

Ответ на: комментарий от Twissel 14.02.20 20:53:13 MSK

Можно и так, а можно через пайп gzip/bzip/pigz/xz вызвать.

legolegs ★★★★★
(14.02.20 21:44:54 MSK)

Ответ на: комментарий от legolegs 14.02.20 21:44:54 MSK

И да, похоже, что Hetzner не поддерживает «интерактивного» ssh, т.к. на команду tar -cz ./data/ | ssh user@host "cat > backup.tar-$(date +%F)" -p23

Получаю exec request failed on channel 0

~~Twissel~~ ★★★★★
(14.02.20 21:55:01 MSK) автор топика

Ссылка

Ответ на: комментарий от legolegs 14.02.20 21:44:54 MSK

Ну или я недопёр =)

~~Twissel~~ ★★★★★
(14.02.20 21:55:25 MSK) автор топика

Ссылка

Ответ на: комментарий от legolegs 14.02.20 21:44:54 MSK

Может просто заюзать scp

~~Twissel~~ ★★★★★
(14.02.20 23:30:20 MSK) автор топика

Ответ на: комментарий от Twissel 14.02.20 23:30:20 MSK

scp не работает в пайпе.

А в доках хецнера сказано, что нужно использовать порт 222 вместо стандартного 22 https://wiki.hetzner.de/index.php/KonsoleH:Sicherheit_(SSL,_FTPS,_SFTP,_usw.)/en

legolegs ★★★★★
(15.02.20 00:01:22 MSK)

Ответ на: комментарий от legolegs 15.02.20 00:01:22 MSK

Не, я понял в чем моя проблема: в твоей команде подразумевается, что имена локального и удалённого юзеров совпадают.

Я этого не понял. Так или нет?

~~Twissel~~ ★★★★★
(15.02.20 00:50:34 MSK) автор топика

Ссылка

Ответ на: комментарий от legolegs 15.02.20 00:01:22 MSK

У стораджа 23й порт.

~~Twissel~~ ★★★★★
(15.02.20 00:50:51 MSK) автор топика

Ссылка

Ответ на: комментарий от vvn_black 12.02.20 10:55:52 MSK

О, кстати, дай пожалуйста ссылку, где почитать про формать бэкапа у BorgBackup.

~~Twissel~~ ★★★★★
(15.02.20 11:07:10 MSK) автор топика

Ссылка

Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.

←	Почему блокируется краулер?

Web-development

Что взять для решения такой задачи?

→

Похожие темы