Как определить, что файл изменился без его закгрузки по FTP

Ну иди на stackoverflow https://serverfault.com/questions/24622/how-to-use-rsync-over-ftp

Про rsync я слышал и пользовался, но у меня ОС клиента четко не определена.

до чего додумался класть на этот ftp список файлов с md5, скачивать его, а затем проверять локальные файлы на соответствие этому списку. Может быть можно как-нибудь проще?

Так это и есть то самое «проще», поэтому многие FTP так и делают.

Ну вот например можно сохранять время модификации файла и сохранить где-нибудь на клиенте, в некоторых случаях получится проще.

в некоторых случаях получится проще.

И во всех случаях сомнительней. Не знаю FTP, которые пользуют подобное для синха.

Есть Rsync для windows (Cygwin или Msys2).

Выкинуть ублюдка ftp, использовать http if-modified-since/last-modified и if-none-matches/etag. А так-то по модтайму всегда такие вещи проверяли, чем тебе это криво?

Примерно также устроены репозитории как минимум у yum/dnf, причем они работают даже по убогому в сравнении с ftp http.

время модификации файла и сохранить где-нибудь на клиенте

Внезапно время модификации на клиенте можно хранить в поле «время модификации», которое есть буквально во всех файловых системах.

Прикладывать к файлу md5 и сверять его?)

По ftp сравнивают время и длину файла, других вариантов нет. Но этот способ предполагает потенциальную ошибку, содержимое при совпадении может быть разным

Поэтому и используют rsync

Поэтому и используют rsync

Который точно также использует mtime и размер.

Там алгоритм сравнения, mtime и размер лишь часть, можно включить сравнение по хешу

Сравнение по времени между разными ОС может дать приколы

Можно включить сравнение по хешу, но мало кто это делает, ибо очень очень медленно.

Ну сервер наверное в своем часовом поясе ставит метку времени, если файл скачать и сохранить где-то еще это поле, вполне достаточно для идентификации уникальности. У меня просто идут сообщения на Ftp небольшого объема и часто получается что изменяется файл без изменения содержимого. Думаю придется прикладывать еще список вида Файл:md5.

ftp вообще не годится для синхронизаций, нужно писать спец софтину и костыли

Я включал, не намного медленней

Ну конечно, ведь читать гигабайты - это то же самое, что и не читать, ага.

modification time... нельзя изменить файл и не именить мтайм... постфактум мтайм можно изменить но никому кроме злонамеренного чела такое не нужно...

Как определить, что файл изменился без его закгрузки по FTP

wget -N проверяет timestamp и не качает файл, если он не менялся. Загружается только листинг каталога. Только в случае очень большого количества маленьких файлов в одном каталоге получается выгоднее перекачать файл.

Ну конечно, ведь читать гигабайты - это то же самое, что и не читать, ага

Если нужна гарантия других вариантов нет. Кроме того, если есть разница во времени, он все равно будет сравнивать контрольные суммы частей файла

Кроме того есть предположение, что алгоритм rsync быстрее md5

Если нужна гарантия других вариантов нет.

Не все так просто. Если у нас бекап и контрольные суммы перестали совпадать - это может быть bit rot на источнике.

если есть разница во времени

Есть типовые проблемы и известные решения для них, в т.ч. для rsync - часовые пояса, летнее время, некоторые фс округляют время до чётного числа секунд.

предположение, что алгоритм rsync быстрее md5

Хороший алгоритм упирается в железные ограничения. Быстрее ~100мб/сек со шпинделя не почитаешь. Спасибо рсинку, что он по сети не гоняет данные чтоб сравнить побайтово.

Да я вчера сделал файлы дополнительные с контрольными суммами и понял, что глупость так-то сделал. Если файл маленький, а у меня есть проблемы с маленькими файлами т.к. там содержится что-то вроде телеметрии в три строки по 40 символов, которая может изменять значение при полном сохранении длины файла. Дешевле это скачать, думаю даже в один ip пакет поместится, а если например большие файлы, то тут вероятность совпадения размеров крайне низкая. Так что правило, одинаковый размер, файлы не изменялись дает практически 99% вероятность.

Может быть можно как-нибудь проще?

man lftp, искать команду mirror.

Проверять время последнего изменения файла это единственный адекватный способ.

В общем я понял, что FTP для этого так не подходит, надо небольшую обертку над ним делать и часть информации хранить на клиенте.

Почему не подходит?

А если файл например был перезаписан тем же самым содержимым то метка времени изменится, а файл останется прежним.

Ну перекачаешь, ничего страшного.