чем можно отмиррорить сайт? по mime-type?

копал wget и curl. как миррорить сайты по text/html а не по *.htm?|php[[:digit:]]|phtml|asp|... так и не понял.

достают ссылки типа /index.php?download_file_id=стомегабайтная_шняга

какие есть варианты? кроме установки дополнительного проксика?