выкачивание файлов по http или создание полноценного загрузчика зеркала

1

2

в общем идея такая: нужно написать скрпит который будет выкачивать нужные мне файлы по http при некоторых условиях, допустим появилось что то новое, изменился размер и тд. Что то типо debmirror а.

Уважаемые знатоки, подскажите пожалуйста что нужно юзать curl , wget и тд и тп и с чего начать. хочу выкачать данный репозиотрий и поставить проверку изменений в крон, и в случае каких то изменений докачивать http://repo.zabbix.com/zabbix/2.4/debian/

Ссылка

←	Добавление элементов в hash reference в рекурсивной функции

Полнотекстовый поиск в postgres

→

тебе нужно распарсить даты:

$ wget -O - "http://repo.zabbix.com/zabbix/2.4/debian/" 2>/dev/null |\
sed -rn '/Parent Directory/b;s/.*<a href="([^"]+)">.*\s+(\S+\s+\S+)\s+-\s*$/\1 \2/p'
conf/ 11-Sep-2014 11:25
db/ 18-Dec-2014 15:36
dists/ 11-Sep-2014 12:08
pool/ 11-Sep-2014 12:08

даты и имена сохранить в файле.

Если они изменились, рекурсивно повторить процедуру для изменившихся каталогов и выкачать новые файлы.

emulek ★
(13.01.15 07:41:57 MSK)

Ответ на: комментарий от emulek 13.01.15 07:41:57 MSK

а не могли бы Вы более детально объяснить или показать, буду очень признателен!

pyata4ka
(13.01.15 07:44:03 MSK) автор топика

а чем тебя дебмиррор не устраивает для этой задачи?

а вообще - python, 20-30 строк. отслеживаем Release, по нему отслеживаем Packages (или сразу отслеживаем Packages), сравниваем с эталонным списком, докачиваем нужное.

~~odii~~ ★
(13.01.15 07:48:50 MSK)

Ответ на: комментарий от odii 13.01.15 07:48:50 MSK

сделал так /usr/bin/debmirror --host=http://repo.zabbix.com/zabbix/2.4/ --root=debian --method=http --dist=wheezy --section=main,contrib,non-free --arch=amd64 --ignore-release-gpg --progress /home/repo/

показало ошибку Errors: Download of dists/wheezy/Release failed: 500 Can't connect to http::80 Failed to download some Release or Release.gpg files! WARNING: releasing 1 pending lock...

pyata4ka
(13.01.15 08:07:02 MSK) автор топика

Может rsync?

Deleted
(13.01.15 08:07:56 MSK)

Ответ на: комментарий от pyata4ka 13.01.15 08:07:02 MSK

--host=repo.zabbix.com --root=/zabbix/2.4/debian/

~~odii~~ ★
(13.01.15 08:12:20 MSK)

Ответ на: комментарий от odii 13.01.15 08:12:20 MSK

/usr/bin/debmirror --host=http://repo.zabbix.com --root=/zabbix/2.4/debian/ --method=http --dist=wheezy --section=main,contrib,non-free --arch=amd64 --ignore-release-gpg --progress /home/repo/

так же Errors: Download of dists/wheezy/Release failed: 500 Can't connect to http::80 Failed to download some Release or Release.gpg files! WARNING: releasing 1 pending lock...

pyata4ka
(13.01.15 08:21:36 MSK) автор топика

Ответ на: комментарий от Deleted 13.01.15 08:07:56 MSK

rcync пробывал, не получается

pyata4ka
(13.01.15 08:22:34 MSK) автор топика

Ссылка

wget -m по крону

~~Eddy_Em~~ ☆☆☆☆☆
(13.01.15 08:25:52 MSK)

Ответ на: комментарий от Eddy_Em 13.01.15 08:25:52 MSK

я так репу нжина качал, не думаю что это правильный способ wget --mirror --no-parent http://nginx.org/packages/debian/ -P /mnt/sdb_120GB/repoNginx/ --reject *.html

pyata4ka
(13.01.15 08:30:01 MSK) автор топика

Ответ на: комментарий от pyata4ka 13.01.15 08:30:01 MSK

Почему бы? Почти тот же rsync получается.

Все равно, для того, чтобы узнать свойства файла, тебе надо либо его целиком выкачать, либо распарсить веб-страничку (как доктор Бэтти говорил в самом первом сообщении)

~~Eddy_Em~~ ☆☆☆☆☆
(13.01.15 08:31:40 MSK)

Ответ на: комментарий от Eddy_Em 13.01.15 08:31:40 MSK

а можешь пример с rcyncom подсказать*? немного не понял , от куда я должен брать логин и тд.

pyata4ka
(13.01.15 08:36:14 MSK) автор топика

Ответ на: комментарий от pyata4ka 13.01.15 08:21:36 MSK

Блин, ты хоть строку скопировать можешь правильно? Тебе дают правильный ответ, а ты начинаешь ДО-ДУ-МЫ-ВАТЬ.

я специально сейчас проверил - всё работает, синхронизируется... а теперь найди разницу между тем, что я тебе дал, и тем, что ты в итоге написал...

Files to download: 28 MiB
[  0%] Getting: pool/main/z/zabbix-release/zabbix-release_2.4-1+wheezy.dsc... 	 #** GET http://repo.zabbix.com/zabbix/2.4/debian//pool/main/z/zabbix-release/zabbix-release_2.4-1+wheezy.dsc ==> 200 OK
ok
[  0%] Getting: pool/main/z/zabbix-release/zabbix-release_2.4-1+wheezy.tar.gz... 	 #** GET http://repo.zabbix.com/zabbix/2.4/debian//pool/main/z/zabbix-release/zabbix-release_2.4-1+wheezy.tar.gz ==> 200 OK
ok
[  0%] Getting: pool/main/z/zabbix-release/zabbix-release_2.4-1+wheezy_all.deb... 	 #** GET http://repo.zabbix.com/zabbix/2.4/debian//pool/main/z/zabbix-release/zabbix-release_2.4-1+wheezy_all.deb ==> 200 OK
ok
[  0%] Getting: pool/main/z/zabbix/zabbix-agent_2.4.3-1+wheezy_amd64.deb... 	 #** GET http://repo.zabbix.com/zabbix/2.4/debian//pool/main/z/zabbix/zabbix-agent_2.4.3-1+wheezy_amd64.deb ==> 200 OK (2s)
ok
[  1%] Getting: pool/main/z/zabbix/zabbix-frontend-php_2.4.3-1+wheezy_all.deb... 	 #** GET http://repo.zabbix.com/zabbix/2.4/debian//pool/main/z/zabbix/zabbix-frontend-php_2.4.3-1+wheezy_all.deb ==> 200 OK (9s)
ok
[ 21%] Getting: pool/main/z/zabbix/zabbix-get_2.4.3-1+wheezy_amd64.deb... 	 #** GET http://repo.zabbix.com/zabbix/2.4/debian//pool/main/z/zabbix/zabbix-get_2.4.3-1+wheezy_amd64.deb ==> 200 OK (1s)
ok
[ 22%] Getting: pool/main/z/zabbix/zabbix-java-gateway_2.4.3-1+wheezy_amd64.deb... 	 #** GET http://repo.zabbix.com/zabbix/2.4/debian//pool/main/z/zabbix/zabbix-java-gateway_2.4.3-1+wheezy_amd64.deb ==>   0200 OK (1s)
ok
[ 25%] Getting: pool/main/z/zabbix/zabbix-proxy-mysql_2.4.3-1+wheezy_amd64.deb... 	 #** GET http://repo.zabbix.com/zabbix/2.4/debian//pool/main/z/zabbix/zabbix-proxy-mysql_2.4.3-1+wheezy_amd64.deb ==> 200 OK (1s)
ok
[ 27%] Getting: pool/main/z/zabbix/zabbix-proxy-pgsql_2.4.3-1+wheezy_amd64.deb... 	 #** GET http://repo.zabbix.com/zabbix/2.4/debian//pool/main/z/zabbix/zabbix-proxy-pgsql_2.4.3-1+wheezy_amd64.deb ==> 200 OK (1s)
ok
[ 29%] Getting: pool/main/z/zabbix/zabbix-proxy-sqlite3_2.4.3-1+wheezy_amd64.deb... 	 #** GET http://repo.zabbix.com/zabbix/2.4/debian//pool/main/z/zabbix/zabbix-proxy-sqlite3_2.4.3-1+wheezy_amd64.deb ==>   200 OK (1s)
ok
[ 30%] Getting: pool/main/z/zabbix/zabbix-sender_2.4.3-1+wheezy_amd64.deb... 	 #** GET http://repo.zabbix.com/zabbix/2.4/debian//pool/main/z/zabbix/zabbix-sender_2.4.3-1+wheezy_amd64.deb ==> 200 OK
ok
[ 31%] Getting: pool/main/z/zabbix/zabbix-server-mysql_2.4.3-1+wheezy_amd64.deb... 	 #** GET http://repo.zabbix.com/zabbix/2.4/debian//pool/main/z/zabbix/zabbix-server-mysql_2.4.3-1+wheezy_amd64.deb ==>   0200 OK (4s)
ok
[ 41%] Getting: pool/main/z/zabbix/zabbix-server-pgsql_2.4.3-1+wheezy_amd64.deb... 	 #** GET http://repo.zabbix.com/zabbix/2.4/debian//pool/main/z/zabbix/zabbix-server-pgsql_2.4.3-1+wheezy_amd64.deb ==>   0200 OK (4s)
ok
[ 51%] Getting: pool/main/z/zabbix/zabbix_2.4.3-1+wheezy.debian.tar.gz... 	 #** GET http://repo.zabbix.com/zabbix/2.4/debian//pool/main/z/zabbix/zabbix_2.4.3-1+wheezy.debian.tar.gz ==> 200 OK (1s)
ok
[ 51%] Getting: pool/main/z/zabbix/zabbix_2.4.3-1+wheezy.dsc... 	 #** GET http://repo.zabbix.com/zabbix/2.4/debian//pool/main/z/zabbix/zabbix_2.4.3-1+wheezy.dsc ==> 200 OK
ok
[ 51%] Getting: pool/main/z/zabbix/zabbix_2.4.3.orig.tar.gz... 	 #** GET http://repo.zabbix.com/zabbix/2.4/debian//pool/main/z/zabbix/zabbix_2.4.3.orig.tar.gz ==> 200 OK (20s)
ok
Downloaded 28 MiB in 52s at 562.43 kiB/s.
Everything OK. Moving meta files ...
Cleanup mirror.
All done.

~~odii~~ ★
(13.01.15 08:36:57 MSK)

Ссылка

Ответ на: комментарий от pyata4ka 13.01.15 08:21:36 MSK

debmirror --host=repo.zabbix.com --root=/zabbix/2.4/debian --method=http --dist=wheezy --section=main,non-free --arch=amd64 --ignore-release-gpg --progress /home/reaper/deb/mirror/

crutch_master ★★★★★
(13.01.15 08:38:03 MSK)
Последнее исправление: crutch_master 13.01.15 08:39:35 MSK (всего исправлений: 1)

Ответ на: комментарий от pyata4ka 13.01.15 08:36:14 MSK

Ну man почитай. Или просто wget --mirror по крону запускай, если не хочешь парсить веб-страницы.

~~Eddy_Em~~ ☆☆☆☆☆
(13.01.15 08:39:19 MSK)

Ответ на: комментарий от crutch_master 13.01.15 08:38:03 MSK

получается моя ошибка была в этом ? http:// ?

pyata4ka
(13.01.15 08:46:51 MSK) автор топика

Ответ на: комментарий от Eddy_Em 13.01.15 08:39:19 MSK

большое Вам спасибо за помощь

pyata4ka
(13.01.15 08:47:50 MSK) автор топика

Ссылка

Ответ на: комментарий от pyata4ka 13.01.15 08:46:51 MSK

Да. Он сам подставляет протокол из ключа --method

crutch_master ★★★★★
(13.01.15 08:57:25 MSK)

Ответ на: комментарий от crutch_master 13.01.15 08:57:25 MSK

Большое спасибо (( моя невнимательность ((

pyata4ka
(13.01.15 08:58:35 MSK) автор топика

Ссылка

Ответ на: комментарий от pyata4ka 13.01.15 07:44:03 MSK

https://bitbucket.org/emulek/zb/

не доделал, ну потом добью.

emulek ★
(13.01.15 10:09:26 MSK)

Ссылка

Почему http, а не rsync?

anonymous
(13.01.15 14:41:32 MSK)

Ссылка

Ответ на: комментарий от Eddy_Em 13.01.15 08:39:19 MSK

Или просто wget --mirror

Прокатывает только при хорошей связи. После обрыва и восстановлении связи качать не продолжает, дозакачка файлов в этом режиме не работает, только одиночнае файлы. А связь все время, как назло (или из-за настроек ростелекома), рвется на файлах размером в несколько сот мегабайт.

arson ★★★★★
(13.01.15 18:42:29 MSK)