На некоторых вебсайтах ссылки на скачивание файлов имеют вид
http://website.com/index.php?section=12&page=322&attach=28
а имя файла можно получить, например, вызвав HTTP-заголовок командой
curl -I "http://website.com/index.php?section=12&page=322&attach=28".
Чтобы массово скачать файлы с такого сайта, я ищу в заголовке grep-ом строку вида
filename="file216.doc"
и вырезаю имя sed-ом. При этом в конце имени оказывается символ конца строки.
Как вырезать имя файла без символа конца строки?
Если посоветуете сменить curl на wget, объясните, пожалуйста, как в нём подставлять куки, подменять юзер-агент и игнорировать robots.txt без правки ~/.wgetrc ?
Заранее спасибо.