LINUX.ORG.RU
Форум — Web-development  

Selenium для js сайта

 , , ,


0

1

Есть в выборке сайты, полностью работающие на js, отдающие только шапку с подвалом не динамично, так вот, что с такими пациентами делать? Scrapy не справится, ставить bas виндовый не хочется, писать на Яве с хтмлюнитом тоже, хочется в рамках питона данные сайты обработать. Селениум справится с жёстким js, когда весь контент динамичный?

← Scrapy проверка в интервале
PHP оптимизировать изображения →

Селениум просто управляет обычным браузером (примерно любым). Если браузер с сайтом справляется, то и селениум справится

MrClon ★★★★★
()
Ответ на: комментарий от MrClon

Иногда сайты умеют определять, что браузер автоматизирован селениумом, и отдавать ему 404 вместо страницы. Обойти где-то можно всякими подменами юзер-агента, где-то нет.

Zhbert ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← Scrapy проверка в интервале
Web-development
PHP оптимизировать изображения →