rsync - вопросы

1. С использованием --include и --exclude, вестимо.

2. И rsync, и ssh могут сжимать данные при передаче. Что будет, если сжимать сразу у обоих, не знаю. Мне в rsync достаточно указывать.

3. Как на сервере удалить из каталогов (или сам каталог) то, что отсутствует на клиенте?

То есть, на сервере лежит каталог, а на клиенте отсутствует. Как удалить рекурсивно каталог с сервера?

Поставь grsync и потыкай разные галочки. Погоняй на тестовых данных. Там в меню можно потом посмотреть все ключи которые были выбраны «Alt-R».

Как на сервере удалить из каталогов (или сам каталог) то, что отсутствует на клиенте? Есть пачка опций типа -delete-..., посмотри в мане. Часто достаточно -del но ман всё равно посмотри.

Спасибо. Ознакомился.

У меня используется опция `r`. В ман пейдже к опции r указано:

-r, --recursive
    This tells rsync to copy directories recursively. See also --dirs (-d).

    Beginning with rsync 3.0.0, the recursive algorithm used is now an incremental scan that uses much less memory than before and begins the transfer after the scanning of the first few directories have been completed. This incremental scan only affects our recursion algorithm, and does not change a non-recursive transfer. It is also only possible when both ends of the transfer are at least version 3.0.0.

    Some options require rsync to know the full file list, so these options disable the incremental recursion mode. These include: --delete-before, --delete-after, --prune-empty-dirs, and --delay-updates. Because of this, the default delete mode when you specify --delete is now --delete-during when both ends of the connection are at least 3.0.0 (use --del or --delete-during to request this improved deletion mode explicitly). See also the --delete-delay option that is a better choice than using --delete-after. 

Значит у меня остается только один параметр - `--del`

Мне нравится скрипт для rsync:

https://raw.githubusercontent.com/aprokopyev/utils/master/rsync.sh

Например, чтобы скопировать ось с одного VPS на другой:

/utils/rsync.sh data / new_vps:/

после первых трех параметров можно добавлять дополнительные свои, например:

/utils/rsync.sh data / new_vps:/ --exclude=/download --delete

4. Как по транспорту rsync передать файлы не в точку назначения, которая указывается модулем, а туда, куда мне нужно?

Клиент:

rsync -rtzh --compress-level=9 --max-size=20m --bwlimit=516 --password-file=/etc/rsyncd.scrt --include='*.txt' --exclude='*.*' --rsync-path="mkdir -p /home/servers/destdir && rsync" "/home/servers/dir" rsync://servers@192.168.2.23:873/data1

Сервер:

max connections = 999

[data1]
    path = /home/servers
    auth users = servers
    secrets file = /etc/rsyncd.scrt
    uid = servers
    read only = no
    list = yes
    hosts allow = *
    hosts deny =

С ssh делается просто:

rsync -rtzh --compress-level=9 --max-size=20m --bwlimit=516 --password-file=/etc/rsyncd.scrt --include='*.txt' --exclude='*.*' --rsync-path="mkdir -p /home/servers/destdir && rsync" "/home/servers/dir" servers@192.168.2.23:/home/servers

При этом я каждый раз могу указывать, куда я могу передать нужные мне файлы: servers@192.168.2.23:/home/servers, servers@192.168.2.23:/home/servers2, servers@192.168.2.23:/home/servers3 и тп

Это обуслевлено тем, что при работе с SSH слишком низкая производительность... толком ещё не понял с чем связано, но транспорт rsync явно быстрее.

Дополню. Алгоритм примерно такой:

подключаемся к серверу и пытаемся попасть в определённый каталог;

если каталог отсутствует, то мы его создаём и вновь пытаемся попасть в него;

синхронизируем.

Как по транспорту rsync передать файлы не в точку назначения, которая указывается модулем, а туда, куда мне нужно

Никак. Ты же не хочешь, чтобы тебе кто-то в /etc/passwd внезапно написал?

Пароль и fail2ban никто не отменял.

Ну сделай модуль с path = /, раз не боишься ничего.

5. Если rsync запускается через крон, а точнее выполняется скрипт, который дергает rsync каждую минуту, то может создаваться... бесконечное количество тасков.

Как проверить, выполняется ли... скрипт или rsync и если выполняется, то не выполнять скрипт или rsync? Мне кажется, что проверять статус работы скрипта самое оптимальное, чем работу rsync. В будущем хотелось бы получить многопоточный rsync, поэтому проверить работу скрипта самое оптмальное - ИМХО.

Оберни в flock

А если pidof попробовать?

if pidof -x "$0" >/dev/null; then
  exit 1
fi

Спасибо, решение с flock очень понравилось.

Решил проще:

    if pgrep rsync > /dev/null; then
    
        exit 1
    
    fi

Поправка... не проще, а костылём. тк при каждом вызове предыдущее выполнение программы завершается и начинается по новой. flock пока не осилил, ибо создаётся множество экземпляров и программа не выполняется.