Есть сайт:
http://site.com
он содержит ссылки к интересной мне документации,
посмотрев три ссылки и они выглядят так
http://site.com/downloads/docs/*.{pdf,dvi,ps}
Проблема в том что документ зачастую разбит на части,
для того чтобы скачать 10-20 частей одного документа надо просмотреть рекламу,
и всякую белиберду,
а директория downloads/docs не открыта на чтение,
хочется
а)пройтись по всему сайту,
б)ничего тяжелее html страниц не скачивая
в)вычленить ссылки ввида http://site.com/downloads/docs/*.{pdf,dvi,ps} и записать их в файл
"wget" as is такую возможность насколько я понял не дает,
т.е. он заодно и документы скачает и картинки и т.д.,
может curl с этим справиться или что-то еще подходит?
Помогите новичку в области internet ботов.