LINUX.ORG.RU

wget и траблы с закачкой сайтов


0

0

делаю:"wget -r -nc -np -p --level=3 http://www.site.org/name/

Очень часто его редиректит на ерроры типа http://www.site.org/error/index.html

в то время как такие клиенты как Offline explorer или disco pump (win32)

работают нормально и дерут то что нужно даже при псевдомногопоточной закачке...

прочитал ман по нему и так и не нашел ничего нового по ключам...

anonymous

Какого вида ошибки? Может быть, сайту не нравится именно wget? Тогда нужно изменить выдаваемый User-Agent. О том, как это сделать, написано в документации.

Deleted
()
Ответ на: комментарий от Deleted

wget -r --user-agent=Mozilla -nc -np -p --level=0 http://www.macsplayground.com/gallery/album46/

)))

07:13:20 (6.60 KB/s) - `www2.xfreehosting.com/teen/magic436/olesya/index.html' сохранен [8323]

Загрузка robots.txt; не обращайте внимания на ошибки.
--07:13:20--  http://www2.xfreehosting.com/robots.txt
           => `www2.xfreehosting.com/robots.txt'
Установка соединения с www2.xfreehosting.com[69.90.63.75]:80... соединились.
Запрос HTTP послан, ожидание ответа... 302 Found
Адрес: http://www.xfreehosting.com/notfound/ [переход]
--07:13:21--  http://www.xfreehosting.com/notfound/
           => `www.xfreehosting.com/notfound/index.html'
Преобразование адреса www.xfreehosting.com... 69.90.63.73
Установка соединения с www.xfreehosting.com[69.90.63.73]:80... соединились.
Запрос HTTP послан, ожидание ответа... 200 OK
Длина: нет информации [text/html]

    [  <=>                                                                                                            ] 3,813          8.48K/s

07:13:23 (8.47 KB/s) - `www.xfreehosting.com/notfound/index.html' сохранен [3813]

--07:13:23--  http://www2.xfreehosting.com/ban/fleshy2.gif
           => `www2.xfreehosting.com/ban/fleshy2.gif'
Установка соединения с www2.xfreehosting.com[69.90.63.........

Беру Offline Explorer из под выни 

все качается и редира нету

В самой мозилле же все нормально и не редиректит

пробовал и других агентов)))

anonymous
()
Ответ на: комментарий от anonymous

Мдя... --user-agent=Mozilla - это сильно :))

Deleted
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.