Писал только для постраничного скачивания книг с сайтов типа литпортал, когда там ещё выкладывали. В общем случае, нужен браузер, который скачивает страницы в чистом txt с фиксированным именем файла, без лишнего мусора, а потом программа находит этот файл, обрабатывает и удаляет. Для каждого сайта нужен свой парсер.