Совет про бэкап

направляю.
davfs2 нужна тебе. гайды в гугле.
пожалуйста.

Юзал,знаю, возможно отдельно папку яда монтировать а не весь яд? ведь там будут хранится и с других серверов данные?

для бэкапа обычно используют incremental backup. Иначе каждый день у тебя будет синхронизироваться 30 гб.

Это не суть, механизмы бэкапов делаются ПО этих серверов,мне же надо их просто переносить\синхронизировать и.тд.. на сторонний сервер с localhost

https://tech.yandex.ru/disk/doc/dg/reference/put-docpage/

ведь там будут хранится и с других серверов данные?

Не совсем понятно.
Если вы о безопастности, то только разные акки использовать.
Если вы для личного удобства, то что-то типа:
создаем в корне яндекс диска директории типа srv1, srv2...srvN.
при монтировании пишем mount -t davfs url-to-yandex-disk/srv1 /mount-point (яндекс диск не пользую url не знаю)

Да,Спасибо, все же неясно можно точно указать папку на ЯДе в которую все будет складываться? Есть ли личный опыт или пруф ? Что то нигде не могу найти...

Именно нужна такая схема

Server1  - Yandex.disk/srv1/
Server2  - Yandex.disk/srv2/
Server3  - Yandex.disk/srv3/

И как лучше организовать ,монтировать отдельный каталог и rsync переносить из папки бэкапов в папку ЯДа Или сразу монтировать в папку бэкапов?

Или еще есть метод скрипта с монтированием переносом и размонтированием сразу же.. https://ploshadka.net/yandex_webdav_move/

davfs2 сделан через *опу. он сначал локально кеширует отправляемое, а потом только отправляет. мне не понравился.

на гитхабе есть питоновский клиент для яндекса https://github.com/abbat/ydcmd и не один

Спасибо, все же неясно можно точно указать папку на ЯДе в которую все будет складываться?

Мне непонятно что вам не понятно, я вам выше команду написал.
Исходя из скрипта который по вашей ссылке это будет mount -t davfs https://webdav.yandex.ru/srv1 /mnt/yandex/

Или сразу монтировать в папку бэкапов?

Если я правильно понял, Вы хотите что бы бэкапы были только в облаке? Я бы так не делал.

Или еще есть метод скрипта с монтированием переносом и размонтированием сразу же..

Я так и делаю, в смысле монтирую,копирую,размонтирую. Одна из причин историческая, сталкивался с «зависанием» удаленных сетевых fs. Другая «страусиная» безопасность, что-то типа «внезапно появиться» патч бармина и хана и серваку и бэкапу.
Но в представленном скрипте есть недостаток, нет проверки на то что смонтировалось успешно, есть ненулевой шанс засрать корень.

Да,за совет с монтированием в папку я уже нагуглил, в действительности все так и есть..

Можете поделится своим может скриптом который проверяет монтирование?

Еще выше была указана действительная проблема с «не очисткой» папки tmp ЯДа, и это действительно так и есть, мне приходилось как лосю руками чистить,хотя я думаю можно в тот же крон поставить и удаление содежимого этой папки..

Это для box.com. Пытаемся три раза (сбои по сети могут же быть) смонтировать со слипом 900.
RDIR это mount-point

function mount_boxcom () {
 /sbin/umount "$RDIR" 1>/dev/null 2>&1 //а вдруг что-то сбойнуло в прошлый раз и осталось смонтированным
 for k in `seq 1 3`; do
  echo -e "username\npassword\n" |
  /sbin/mount -t davfs https://dav.box.com/dav/ "$RDIR" >/dev/null
  if [ $? -ne 0 ]; then
   echo "Error $k mount davfs" 1>&2
   sleep 900
  else
   return 0
  fi
 done
 exit 1
}

Поставь на серверы утилиту yandex-disk и синкай нужное в нужные каталоги.

Еще выше была указана действительная проблема с «не очисткой» папки tmp ЯДа,

Тут что-то странное. Вообще кеш на umount должен сбрасываться.

Поставь на серверы утилиту yandex-disk и синкай нужное в нужные каталоги.

Плохой совет. Это не называется бэкап.

С чего бы?

Оно вроде как синкает в обе стороны.

mount -t davfs https://webdav.yandex.ru/freepbx /mnt/yandex/

[root@tel mnt]# mount -t davfs https://webdav.yandex.ru/freepbx /mnt/yandex/
/sbin/mount.davfs: Mounting failed.
404 Not Found

Монтируется если так

mount -t davfs https://webdav.yandex.ru/ /mnt/yandex/

Но тогда синкается вся папка ЯДа а мне надо только папки

случаем не это ищите https://rclone.org/ ?

Что то где то встречал но не уверен.. Мне надо просто понять

Яндекс диску можно указать какую директорию синхронизировать на стороне ЯДа???

вроде бы да https://rclone.org/yandex/

У ЯДа есть свой консольный клиент

https://yandex.ru/support/disk/cli-clients.html

попробую с ним что ле заморочится....

проблема в том что свой клиент ЯДа _синхронизирует_ данные, а rclone позволяет отправлять данные без прямой синхронизации

А такой отправкой а не заменой он не переполнит ЯД ?

А такой отправкой а не заменой он не переполнит ЯД ?

всегда можно написать скрипт который будет подчищать старые бекапы

А так вам будет удобно, но с помощью rclone вы сможете отправлять (как я понял) бекапы с 3 серверов на один ЯД(то есть бекапы будут храниться только на ЯД), а при синхронизации вы будите хранить бекапы всех серверов на каждом сервере

А каталог freepbx есть?
Вот вспомнил что у меня же есть почта на тындексе и проверил

# mount -t davfs https://webdav.yandex.ru/ /mnt/tmp
Please enter the username to authenticate with server
https://webdav.yandex.ru/ or hit enter for none.
  Username: mymail@yandex.ru
Please enter the password to authenticate user mymail@yandex.ru with server
https://webdav.yandex.ru/ or hit enter for none.
  Password:

# ls /mnt/tmp
lost+found/  Горы.jpg  Мишки.jpg  Москва.jpg           Хлебные\ крошки.mp4
srv1/        Зима.jpg  Море.jpg   Санкт-Петербург.jpg

# ls /mnt/tmp/srv1
1111

# umount /mnt/tmp

# mount -t davfs https://webdav.yandex.ru/srv1 /mnt/tmp
Please enter the username to authenticate with server
https://webdav.yandex.ru/srv1 or hit enter for none.
  Username: mymail@yandex.ru
Please enter the password to authenticate user mymail@yandex.ru with server
https://webdav.yandex.ru/srv1 or hit enter for none.
  Password:
# ls /mnt/tmp
1111  lost+found/

Еще выше была указана действительная проблема с «не очисткой» папки tmp ЯДа,

Тут что-то странное. Вообще кеш на umount должен сбрасываться.

А вот тут я скорее не прав был. Поднял свои старые записи, про другую систему с webdav и действительно оставляла временные файлы.

ЗЫ Это пример не из копейкоси7, но на ней также проверил, все робит.

В смысле каталог freepbx?

Но вот у меня не работает,сейчас попробую еще разок...

[root@tel ~]# mount -t davfs https://webdav.yandex.ru/freepbx /mnt/yandex
Please enter the username to authenticate with server
https://webdav.yandex.ru/freepbx or hit enter for none.
  Username: putin@yandex.ru
Please enter the password to authenticate user domconnectru@yandex.ru with server
https://webdav.yandex.ru/freepbx or hit enter for none.
  Password:
/sbin/mount.davfs: Mounting failed.
404 Not Found

А вот если

mount -t davfs https://webdav.yandex.ru /mnt/yandex

то все норм!

В смысле каталог freepbx?

в смысле на y-d он создан с корне?

Да! Создан,но я понял в чем дело и даже предположить не мог что это может стать причиной!

Оказалось что регистр в пути тоже имеет значение! На ЯДе была папка в верхнем регистре а маунтил я в нижнем,вот ведь!

Как только сделал так

mount -t davfs https://webdav.yandex.ru/FREEPBX /mnt/yandex

.....даже предположить не мог что это может стать причиной!
Оказалось что регистр в пути тоже имеет значение!

Очень смешно. Посмотрите в адресной строке своего браузера, там написано linux.org.ru а не windows.org.ru

Ну ладно уж, косячнул что и говорить, Спасибо что боролись вместе со мной! =)

Не одно дак другое ,теперь какие то костыли в скрипте, он если нет папки на ЯДЕ от примонтирует,создаст папку отмонтирует,если есть папка то зальет туда два файла из трех и размонтирует, если все три файла есть то примонтмируется и повисает...

mount -t davfs https://webdav.yandex.ru/FREEPBX /mnt/yandex
cp -R /var/spool/asterisk/backup/* /mnt/yandex
umount /mnt/yandex

Как поправить?

1. cp -a
2. перед монтированием убедитесь что оно не смонтировано, т.е. как я писал выше, сначала umount

umount /mnt/yandex
mount -t davfs https://webdav.yandex.ru/FREEPBX /mnt/yandex
cp -a /var/spool/asterisk/backup/* /mnt/yandex
umount /mnt/yandex

Все как то так же,создает каталог на ЯДЕ и отрубается.. /var/spool/asterisk/backup/FULL/.....

Так вот на яде создает папку FULL и отрубается, если она есть закидывает 2 из 3 файла и отрубается, если они есть дописывает 3-й файл и не отрубается !

Что значит:
1. «отрубается» - ошибка должна быть
2. " и не отрубается"

[root@tel my_scripts]# ./backup_webdav.sh
: not mountedyandex
/sbin/mount.davfs: Warning: can't write entry into mtab, but will mount the file system anyway
umount: /mnt/yandex: not mounted

Вот так пишет если нет папки FULL на ЯДЕ, он ее создает и вот делает унмаунт..

Не отрубается значит консоль висит и все, вырубается только ctrl+c

Блин ,вот я громодятел..

Все норм делается, просто файлы не сразу появляются на ЯДЕ....

Что касается №2 консоль зависает ненадолго,потом отвисает и все норм!

Блин ,вот я громодятел..

Нет, вы хуже. Я уже проверить решил. Все робит на последней копейке7. Накидал видосиков что бы обьем получился. Все без ошибок.
А вот то что webdav тупит у яда или у копейки, точно есть. Склоняюсь к яду.

Ан, нет. Что-то у копейки. Возможно selinux. На слаке аналогичное робит без «тупижа».

И опять не прав. Сейчас для теста стал закидывать бОльшой обьем, «тупизм» аналогичен.

И никак и не выяснить что за тепеж ? И лог то не выявит..

Так то не мешает думаю...

Бред какой то..., тут заметил что в папке куда монтируется диск появилась папка yandex. , с точкой на конце если смотреть в mc , если просто в winscp то невидно разницы между папками, и в этой папке все содержимое папки с бэкапом..

Может все таки cp -r ???

папке куда монтируется диск появилась папка yandex.

Ну само оно не бывает. Не линк случайно?

Может все таки cp -r ???

-a включает в себя -r

И никак и не выяснить что за тепеж ?

Ну мне оно не настолько надо, точнее совсем не надо, это же так, для тестирования на фоне вашей темы, не более того :)
ЗЫ У меня для работы на самом деле все наоборот, я облако бэкаплю к себе. :) А то при работе с «этими облаками» были замечены случаи пролюбливания данных.

davfs2 сначала копирует файлы в локальную кеш, а потом заливает на webdav при этом жутко забивая очередь исполнения, вот тут консоль и начинает тормозить и как отучить ее это делать я так и не нашел.

Да нет,не сим линк.. http://joxi.ru/EA4Q00LTweaz7r http://joxi.ru/Q2K5kkzu4DWkLr

Даже что то предположить сложно почему такая фигня вылезла.. Папка с точкой точная копия папки бэкапа..

ls -la
а не скрин из mc

вот тут консоль и начинает тормозить

Это как? В смысле в чем выражается?
У меня с консолью все норм, тупеж в другом.