LINUX.ORG.RU

Скачать файлы с сайта wget'ом

 


1

1

Нужно скачать карты с http://www.epicwar.com/maps/ (~211600 файлов) Пробовал два варианта:

wget -m http://www.epicwar.com/maps/

wget -r http://www.epicwar.com/maps/

но он просто создает html файлы а по ссылкам на скачивание не ходит. Перепробовал уже множество вариантов. Гугление данной инфы ничего не дает. Всевозможные грабберы тоже не помогли.



Последнее исправление: Seeker142 (всего исправлений: 1)

Пробывал два варианта

Попробуй Розенталя вдогонку.

anonymous
()

google://wget зеркалирование

умвр

Xenon ★★★
()

wget -r -A w3x http://www.epicwar.com/maps/

Сначала оно должно пройти все html-страницы, а потом начнет качать сами карты

derlafff ★★★★★
()

У ссылок нет атрибута nofollow? Карты не запрещены в robots.txt?

AITap ★★★★★
()

генерируешь список ссылок:

for i in `seq 7790`; do echo "$i of 7790" 1>&2; lynx -dump "http://www.epicwar.com/maps/?page=$i&sort=time&order=desc" | grep '/download/' | cut -d" " -f4; done | tee links-raw.txt | sort -u > links-sorted.txt

потом качаешь сами файлы:

wget -i links-sorted.txt

Ну и чтоб не скучно было ждать, можешь сделать в соседнем терминале:

tail -f links-raw.txt

i-rinat ★★★★★
()
Последнее исправление: i-rinat (всего исправлений: 1)

Игра вылетит со всеми этими картами, да и процентов 90 шлак. Зачем?

anonymous
()
Ответ на: комментарий от anonymous

Зачем?

Кажется, я его понимаю. Во времена, когда интернет был медленный, я выкачивал файлы месяцами. Времена прошли, а привычка «надо что-нибудь скачать, канал простаивает» осталась.

i-rinat ★★★★★
()
Ответ на: комментарий от i-rinat

Большое вам спасибо. Все это время я следовал совету derlafff и он работал. Но мне кажется, что ваш способ работает быстрее.

Можно вопрос по коду. Код генерит список ссылок начиная с самой свежей и, заканчивая первой.

for i in `seq 7790`;

но здесь выставлено ограничение только на 7790 первых ссылок или я не прав?

Seeker142
() автор топика
Ответ на: комментарий от Seeker142

но здесь выставлено ограничение только на 7790 первых ссылок или я не прав?

страниц, а не ссылок. Кстати, там уже 7791 страниц.

i-rinat ★★★★★
()
Ответ на: комментарий от i-rinat

А кажется, понял. Ваш код за одну итерацию в список записывает 25 строчек (карт) которые находятся на одной странице.

Seeker142
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.