Bash скрипт для бэкапа

Если подождёшь, чуть позже скину свой ваиант. Делает всё это, только бекапы на другой сервак по сети.

Отлично!Спасибо! Конечно подожду!

Если я верно понял, то по третьему пункту:

/usr/bin/mysqldump  -u${sql_user} -p${sql_pass} ${database} | /bin/gzip -c9 > ${path_backup}${pref_backup}_backup_MySQL_DB_MYSQL_MASTER_${date_current}.gz

По поводу архивации каталогов как вариант:

create_dir_dump() {
cd $1
/bin/tar -c -f - ./* | /bin/gzip -c9 > ${path_backup}${pref_backup}_backup_$2_${date_current}.gz
}

create_dir_dump /etc etc

7. нотификация об успешно созданной копии на почту

бери и мой

1. Dump сайтов(каждый сайт в отдельный архив)
2. Dump Mysql
3. Упаковка всех архивов в 1
4. проверка свободного месте (если диск заполнен) удалить самый старый DUMP
5. заливает на удаленный сервер

cd /root/cloud

echo Wait pls!....................................
sleep 3

#DUMP SITES FILES


tar -czvf /root/cloud/site1.com.gz /var/www/site1.com
echo site1 BACKUP COMPLITED!!!
sleep 3


tar -czvf /root/cloud/site2.com.gz /var/www/site2.com
echo site2 BACKUP COMPLITED!!!
sleep 3


#DUMP SQL BASE

mysqldump -uUserBDSite1 -pPassBD site1 > /root/cloud/site1.com.sql
echo DUMP site1.com.sql COMPLITED!!!!
sleep 1

mysqldump -uUserBDSite2 -pPassBD Site1 > /root/cloud/site2.com.sql
echo DUMP site2.com.sql COMPLITED!!!!
sleep 1



echo Wait pls! Compression All Files...
sleep 1

tar -czf BackupALL_myVPS_`date "+%Y-%m-%d"`.tar.gz site1.com.gz site2.com.gz site1.com.sql site2.com.sql

echo COMPRESSION COMPLITED!!!!

sleep 1

echo Wait PLS! CLEAR TEMP FILES!!!!


rm /root/cloud/site1.com.gz.gz
echo Delete File site1.com.gz

rm /root/cloud/site2.com.gz.gz
echo Delete File site2.com.gz


rm /root/cloud/site1.com.sql
echo Delete File site1.com.sql

rm /root/cloud/site2.com.sql
echo Delete File site2.com.sql


sleep 1
echo ALL COMPLITED..........................................


echo Wait pls Copy to Remote Server....

scp -P 22 `ls -t /root/cloud/ | head -1` cloud@ipRemoteServer:/home/cloud/

echo Copy to Remote Server Complited....
sleep 1

echo Check Free Space......

#Если Диск заполнен более чем на 80% тогда удалить самый старый фаил
file=`ls -t /root/cloud/BackupALL_myVPS_????-??-??.tar.gz | tail -n1`
count=`df | grep /dev/vda1 | awk '{print $5}' | sed '{s/.$//;}'`
min=80

if [ $count -ge $min ]
then
echo The disk is full of more than 80%, Delete Old Files....
   rm $file
   echo File $file Delete
fi

echo ALL COMPLITED..........................................

3.Архивировать базы данных mysql раздельно.

for i in `mysql -u root -e'show databases;' | grep -v information_schema | grep -v mysql | grep -v performance_schema | grep -v Database`; do mysqldump -u root $i > `date +%Y-%m-%d`-$i; gzip `date +%Y-%m-%d`-$i;done

Имхо этот вариант лучше чем у предыдущего оратора, так как после каждого вновь созданного каталога и базы тебе НЕ придётся править свой скрипт с бекапами.

6.Контролировать кол-во копий и удалять старые.

find /opt/backup -type f -mtime +3 -delete

4.Все это паковать в итоге в один архив

Делай всё проще... сначала сжимаешь отдельно все базы и нужные папки в отдельные файлики дата_имя.gz, а потом все вместе собираешь

tar -cjf foo.tar /opt/*.gz    

Вот покажу свой,и где заплелся..

#!/bin/bash

#
#Переменные Базы данных
DBHOST="localhost" #Адрес MySQL сервера
DBUSER="ЮЗЕР" #Имя пользователя базы данных
DBPASS="ПАРОЛЬ" #Пароль пользователя базы данных
DBNAME="ТУТ БАЗА" #Имя базы данных
DBARC=$DBNAME.sql.gz #Имя архива базы данных
#
#Переменные WEBDAV
WEBDAVURL="https://webdav.yandex.ru/ПАПКА/" #Адрес Яндекс.Диск. Папка должна существовать!
WEBDAVUSER="ЮЗЕР@yandex.ru" #Имя пользователя от Яндекс.Диска (Яндекс.Почты)
WEBDAVPASS="ПАСС" #Пароль от Яндекс.Диска
#
#Переменные сайта
SCRIPTDIR="/home/backup" #Абсолютный путь откуда запускается скрипт и где храняться архивы
SCRDIR="/var/www/юзер/data/www/сайт" #Абсолютный путь к сайту от корня диска
SCREXCLUDE="" #Что не попадет в архив
SCRARC="имя.tar.gz" #Имя архива файлов сайта
#
#Переменные Резерных копий
ARCNAME="имя"_$(date '+%F-%H-%M')".tar" #Имя архивной копии сайта
ARCMAX="30" #Количество файлов в локальном хранилище


#start backup
echo "[--------------------------------[`date +%F--%H-%M`]--------------------------------]" 
echo "[----------][`date +%F--%H-%M`] Run the backup script..."
#
#Переходим в корневую директорию вебсервера
cd $SCRDIR
echo "[++--------][`date +%F--%H-%M`] Generate a source code project..."
#
#Создаем файловый архив со сжатием, учитываем исключения
tar cfz $SCRIPTDIR$SCRARC --exclude=$SCREXCLUDE *
#
#Возвращаемся в папку со скриптом, где лежат все архивы
cd $SCRIPTDIR
echo "[+++-------][`date +%F--%H-%M`] Generate a database backup..."
#
#Архивируем базу данных со сжатием
#########################mysqldump -h$DBHOST -u$DBUSER -p$DBPASS $DBNAME | gzip > $DBARC
databases=`mysql --user=$DBUSER --password=$DBPASS -e "SHOW DATABASES;" | tr -d "| " | grep -v Database`
 for db in $databases; do
    if [[ "$db" != "information_schema" ]] && [[ "$db" != _* ]] ; then
        echo "Dumping database: $db"
        mysqldump --force --opt --user=$DBUSER --password=$DBPASS --databases $db > `date +%Y%m%d`.$db.sql
        gzip `date +%Y%m%d`.$db.sql
    fi
done
#########################
echo "[++++------][`date +%F--%H-%M`] Generate a database backup + source..."
#
#Объединяем файловый архив и дамп базы данных, теперь уже без сжатия
tar cf $SCRIPTDIR$db $SCRARC $DBARC
echo "[+++++-----][`date +%F--%H-%M`] Go to yandex drive..."
#
#Отправляем результат в Яндекс.Диск
curl --user $WEBDAVUSER:$WEBDAVPASS -T $ARCNAME $WEBDAVURL
echo "[++++++----][`date +%F--%H-%M`] Delete old arch..."
#
#Убираем промежуточные архивы
rm *.gz
#
#Удаляем старые копии сайта, оставляем несколько свежих копий
ls -t *.tar | tail -n+$ARCMAX | xargs rm -f
#
echo "[++++++++--][`date +%F--%H-%M`] Stat datadir space (USED): `du -h $SCRIPTDIR | tail -n1`" 
echo "[+++++++++-][`date +%F--%H-%M`] Free HDD space: `df -h /home|tail -n1|awk '{print $4}'`"
echo "[++++++++++][`date +%F--%H-%M`] All operations completed successfully!"
exit 0

Вот помогите поправить, я было начал но заплелся опять, он базы нормально выбирает и вроде бы нормально их компанует потом ошибка на архивации...

Конечно в идеале хотелось бы так

База.tar+база.tar+база.tar+база.tar=Архив баз
Каталог.tar+каталог.tar+каталог.tar=Каталог.tar
И все это потом в один архив для удобства дата.tar

По идее примерно так для баз и по аналогии для остального

#Архивируем базу данных со сжатием
databases=`mysql --user=$DBUSER --password=$DBPASS -e "SHOW DATABASES;" | tr -d "| " | grep -v Database`
 for db in $databases; do
    if [[ "$db" != "information_schema" ]] && [[ "$db" != _* ]] ; then
        echo "Dumping database: $db"
        mysqldump --force --opt --user=$DBUSER --password=$DBPASS --databases $db | /bin/gzip -c9 > /path/to/database_dump/`date +%Y%m%d`.$db.gz
    fi
done

/bin/tar -c -f - /path/to/database_dump/* | /bin/gzip -c9 > /path/to/backup/arch_databases.gz
rm -rf /path/to/database_dump/*

А, такой момент еще. Либо я чего-то не нагуглил, либо для того, чтобы в архиве данные лежали без полных путей надо сначала перейти в место сборки архива cd $path.

Заплелся в архивах, по раздельности все работает,сперва надо сжимать в .gz потом надо пережимать в tar затем удалять rm *.gz

По сути это и происходит. Для понимания, можно сначала разложить по разным каталогам архивы БД и архивы каталогов. Потом проходишься по такому каталогу, собираешь всё из него в один архив и очищаешь. Полученные архивы складываешь отдельно и с ними делаешь тоже самое собирая один большой архив.

Как получится можно поиграться названиями архивов, чтобы можно было складывать всё в одну промежуточную директорию и потом с помощью find собирать архивы.

Это все получилось, теперь последняя задача надо на ЯД курлом отправлять\синхронизировать папку.

Сейчас это так

curl --user $WEBDAVUSER:$WEBDAVPASS -T $ARCNAMEBASE $WEBDAVURL

Но он тут тупо закидывает туда архив и все....а надо контролировать и там количество архивов..

Скриптописатели х...вы!!! Не забываем использовать обработку ошибок после важных команд ( [ $? == 0 ] ) а то получите банан на выходе. Где ключи routines и triggers для mysqldump?

Вот из хелпа, чот не стетерю как применить..

Для удаления файла необходимо выполнить команду:
curl --user <username>:<password> --request DELETE https://webdav.yandex.ru/filename

cd /root/cloud
echo Wait pls!....................................
sleep 3

«Маловато будет» (c) Почему не sleep 33333 ? Юзеру «интереснее» будет.
Или интерактивнее for i in `seq 1 333333` ; do echo -n .$i; sleep 1; done

Решил я так синхронизировать, потому что curl никак, можно только запуливать...

SCRIPTDIR="/home/backup"
umount /mnt/yandex
mount -t davfs https://webdav.yandex.ru/KATALOG /mnt/yandex
cp -a $SCRIPTDIR* /mnt/yandex
umount /mnt/yandex

В локальной папке /home/backup все нормально ,остается 3 файла потому что я удаляю их

ls -t *.tar | tail -n+3 | xargs rm -f

Но почему то в ЯДе не удаляется так же последний файл?!?! Почему нет полной синхронизации папок между локальной папкой и ЯДОМ ?

ls -t *.tar | tail -n+3 | xargs rm -f

Мамаааа роди меня обратно.

Почему нет полной синхронизации папок между локальной папкой и ЯДОМ ?

Бэкап? Полная синхронизация? Дежавю. В другой теме я уже объяснил почему это «плохо».

Чиво не так? Объясни ! Как бы сделал ты ?

Короче плюнул на этот davf и заюзал rclone и все путем!

rclone sync /home/backup/ yandex:backup

/bin/tar -c -f - /path/to/database_dump/* | /bin/gzip -c9 > /path/to/backup/arch_databases.gz

1) Что вы пытаетесь получить указывая «/bin/» ?

2) Сжимать уже сжатое - только время терять.

3) Правильнее надо в архив дописывать после дампа каждой базы и сразу потом удалять каждый файл, а не создавать архив в конце, так как это не потребует двойного размера места с дампами и готовым архивом, а потребует только место под архив и под сжатый дамп последней базы из списка.

Фигня в том что основываться на времени создания файла не верно. Хз что могло произойти. Для этого в имена файлов бэкапа и надо добавлять дату-время что бы была возможность легко отсортировать.
Далее. Вы оставляете два последних *.tar. Это будет работать если точно в этой директории один_бэкап-один_архив. Но вот «завтра» вашей «левой пятке» придет в голову помещать три архива в эту директорию, но к этому «завтра» вы забудете про команду rm. Результат - один из архивов будет снесен.
Или еще, «сегодня» мы решили один архив в неделю, а вот «завтра» решили 8 архивов в сутки, говно вопрос, поменяли в кроне расписание, и вроде профит, скрипт уже никто не смотрит. Только вот шансов на обнаружение проблемы в течении 2-х недель гораздо больше чем в течении 6 часов. Это я к тому что ваши бэкапы будут уже с ошибкой.

Ну.. В данный момент так все устроено..

Папка cache
1.Дамп каталога /www/ с сохранением структуры --> .gz
2.Дамп всех баз с исключениями -->.gz
Папка backup
3.Объединение в локальной директории bacup архива баз и архива www
Папка cache
4.rm *.gz
Папка backup
5.Удаляем старые копии сайта, оставляем несколько свежих копий
6.rclone sync на ЯД в подпапку

Думаю схема самая верная ,главное последовательность не путать

С применением rclone избавился от глюков и чисток кэша и.т.д...

Применил на 4-х серверах VDS все крутится вроде бы пока =)

1) Что вы пытаетесь получить указывая «/bin/» ?

Вот полный путь, это правильно. Не понимаю к чему докопались. Поясните.

Вот полный путь, это правильно. Не понимаю к чему докопались. Поясните.

Чего правильного в указании полного пути к tar и gzip? С чего они обязаня быть в /bin ? И я не докопался, в отличии от вас, а вежливо спросил, что именно хотел этим автор.

а вежливо спросил, что именно хотел этим автор.

Немного стеба: Для вас это редкость. :)

Серьезно: Я к вам отношусь с уважением.
По теме: Указание полных путей какбэ правильно. Другой вопрос вынести в переменные, что бы при переносе на другую систему не править по всему тексту.
У вас есть какие-то еще возражения?

все крутится вроде бы пока

Я вам дал описание «граблей». А как поступать дело ваше.
«Админы делятся на три категории:
1. которые не делают бэкап
2. которые уже делают бэкап
3. которые проверяют бэкап»

У вас есть какие-то еще возражения?

Если ваш системный PATH изменен, значит это так надо было системному администратору. Не надо умничать там где нет никакого основания. А то так можно дойти до того, что скажем в юниксах, которые говно мамонта не будет никакого gzip-а, а у имеющегося компрессора будут другие ключи, и ваши переменные к бинарю тоже пойдут лесом. Хотите проверить доступность утилит, ну — ваше право. Проверили, поплакали, если не нашлось и всё, что-то большее уже выглядит как форменное извращение.

Возражений два.
1. Очень часто возникают темы, когда «юзеры» не прописывая полный путь, жалуются что мол мой скрипт не работает.
2. «Если ваш системный PATH изменен» а вот тут не обязательно, что изменен. Достаточно закинуть «каку» в путь который будет по списку выше. Да это хак. Но все-таки. Не буду описывать зачем мне больше десяти лет назад надо было такое сделать. Ничего плохого я не сделал, только для «себя любимого». Однако осадочек паранойя «от выполненного самим» таки есть. Ведь такое же и для «гадости» можно исполнить.

Я, конечно, осознаю, на каком форуме нахожусь и что сейчас начнется... Но, все-таки, предложу не городить велосипед из костылей, а взять нормальное решение:

https://www.borgbackup.org/

https://torsion.org/borgmatic/

Для дампа базы mysql нужно будет добавить пару строк своего кода.

P.S. Вместо Яндекс диска взять нормальный сервис, или примонтировать этот самый ЯДиск через fuse.

1. Очень часто возникают темы, когда «юзеры» не прописывая полный путь, жалуются что мол мой скрипт не работает.

Скрипт по бэкапу базы — основной системный обеспечивающий скрипт по работоспособности конкретного хоста :) Какие юзеры? Полные пути в скриптах я вижу, но как правило они или для (/usr)/sbin либо к /usr/local/* , первое — не Unix-стандарт, второе единственно верное решение. Поменять PATH, убрав /bin с первой позиции — это надо прям не знаю какое надо СЕРЬЕЗНОЕ обоснование, и если оно в результате у пользователя не работает, то в этом случае у него есть полное право жаловаться, но и получать по полной, если пользователь сам так испоганил PATH.

Скрипт по бэкапу базы — основной системный обеспечивающий скрипт по работоспособности конкретного хоста :) Какие юзеры?

Слово «юзеры» я не случайно взял в кавычки. :) Темы вида «вот запускаю руками - работает, прописал в крон - не работает» или «запускаю под рутом - работает, через sudo - не работает» и т.д. и т.п

Поменять PATH, убрав /bin с первой позиции — это надо прям не знаю какое надо СЕРЬЕЗНОЕ обоснование

А вы посмотрите на «свой любимый дистр» из каробки.
Для примера копейкоос

# which cp
alias cp='cp -i'
	/usr/bin/cp

Может так?

#!/bin/bash
PATH=/etc:/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin

whereis bash \ which bash

Универсального решения не существует, у меня и без #!/bin/bash работало...

Не парьтесь. Это обсуждение с vodz, у каждого из нас своя точка зрения. И каждая имеет место быть. В спорах рождается истина.

Свою точку зрения я описал выше, задать переменными, что бы по всему скрипту не писать /bin/tar &etc. Хотя я и сам зачастую таким грешу, более того могу написать например cp, просто по тому что в тот момент был занят и вот так написал. Но фэншуйно имхо переменными. Минус этого «фэншуя» перенос на другую систему где нужные бинарники лежат по другим путям, приходиться править переменные.

which

В самом первом посте даже не стал упоминать о подобной фигне. Хоть и встречал такое в чужих скриптах для задания переменных. Чуш полная, какая нафиг разница если все равно берется из переменной PATH ?

Универсального решения не существует, у меня и без #!/bin/bash работало...

А это вот отдельная история.
1. Без указания запуститься с дефолтным шелом, а что там sh, dash, zsh, *sh поведение возможно будет разным.
2. Но даже при указании это может быть линк совсем на что-то другое, тот же dash

А можно мне для саморазвития пояснение по поводу переменных? Что именно туда писать или вы имеете ввиду явно указать в скрипте переменную PATH?

В начале скрипта указать переменные и их использовать в скрипте
#!/bin/bash

IT='/usr/sbin/iptables'
IPSET='/usr/sbin/ipset'

$IT -F
$IPSET -X

и т.д