LINUX.ORG.RU

[wget] Не хочет качать рекурсивно

 


0

0

Товарищи, хелп. Нужно сохранить один сайт, локально. А именно: http://refsq.idi.ntnu.no:80/ Пытаюсь для этого юзать wget:

wget -r -p --html-extension --convert-links --domains refsq.idi.ntnu.no -U Mozilla refsq.idi.ntnu.no

В результате получаю только index.html и всё. Никаких больше страниц, скриптов и css. Что я делаю не так?


Наверно это нужно :
--user-agent=opera -e robots=off

Похожее на это :

URL=refsq.idi.ntnu.no

wget -A «*» -p -o Log.txt -k -r -l999 -m --html-extension -P download --user-agent=opera -e robots=off $URL

anonymous
()

Обычно для этой цели используется
wget --mirror <site>
но тут и он не помогает. Вроде и нет ничего сильно необычного на сайте... Так что присоединяюсь к вопросу.

fractaler ★★★★★
()
Ответ на: комментарий от anonymous

Пока писал, уже ответ появился)) Взял команду на заметку.

fractaler ★★★★★
()
Ответ на: комментарий от anonymous

Огромное спасибо. Проблема была именно в robots.txt. На user-agent вроде бы не ругался.

BobiKK
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.