LINUX.ORG.RU

selenium + scrapy: как подружить?

 ,


0

2

Есть на свете, джентельмены, сайт. Хочу я его содержимое сграбить, чтобы выложить в свободный доступ.

Одна у меня, джентельмены, беда: там мало того, что требуется залогиниться для входа, так ещё и ссылки на видео заставляют именно что кликать, чтобы видео скачалось. А если эти же ссылки вставить в окошко браузера и попытаться скачать напрямую, то меня отматерят и ничего не дадут.

Потому надо мне, джентельмены, использовать что-то вроде selenium,чтобы туда заходить и щёлкать по ссылкам. Но писать паукана вручную мне неохота. А потому — надо мне как-то подружить его с чем-то вроде scrapy.

Имею, джентельмены, спросить: не приходилось ли кому такое делать?


А если эти же ссылки вставить в окошко браузера и попытаться скачать напрямую, то меня отматерят и ничего не дадут.

Реферер?

Капча «apache affordable».

anonymous ()
Ответ на: комментарий от anonymous

Да там, по-моему, какой-то JS выполняется хитрый.

Yak ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.