ИМХО, в протоколе HTTP нет понятия директория, только URL. Нет запроса к серверу, чтобы он дал список всех файлов в заданом каталоге (в отличии от ftp). Можно только сливая html старницу с сервера проверять все ссылки в ней, wget -r, но результать может не оправдать ожидания.