LINUX.ORG.RU

Wget сайт не скачивает, возвращает ошибку 316

 ,


0

2

Есть сайт, который не удается сохранить. Wget сохраняет только index.html и robots.txt и потом вываливается с ошибкой 316, чего-то там про несовпадение в количестве байт я толком не понял. Ошибка, как я понимаю, не стандартная http, а что-то свое для wget.

user-agent, естественно менял (иначе сразу отлуп вообще), от учета robots.txt пробовал отказаться. wait в 1 секунду пробовал прописывать. Что еще можно сделать, кроме того, чтобы писать парсер и скачивание отдельных страниц? В Firefox сайт открывается нормально и отдельные страницы нормально сохраняются.

HTtrack тоже сразу отваливается, если игнорировать robots.txt - подвисает. (И между прочим, у httrack какая-то инопланетная логика работы, я в ней толком не смог разобраться)

То ли это защита от ботов, то ли х.з.

★★★★★

Есть сайт, который...

...не доступен из Интернета?

Zmicier ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.