Чем в python работать с сайтом?

pip install selenium

https://seleniumhq.github.io/selenium/docs/api/py/index.html

Как Selenium, но без тягомотины в виде браузера :-)

Ну подключи к нему phantomjs вместо браузера

https://github.com/detro/ghostdriver

Scrapy.

Фантом тоже тяжёлый :-)

спасибо, гляну.

urllib2, requests

руками все посты, руками куки, эх :-) а ещё и html разбирать надо

bs4

а оно умеет выполнять JS? если сайт будет построен на ReactJS, к примеру, или на ангуляре, да хоть на jQuery, и данные скриптом меняются, эта либа будет адекватно выполнять скрипты?

Нет, оно просто краулер, который, как спрашивал ТС, немного упрощает работу с куками и формами, позволяет использовать xpath, и заодно умеет параллельное выполнение из коробки.

Если надо js - это либо руками + scrapy, либо уж Selenium,там с этим проблем нет.

если надо js, то эту часть лучше пилить на (внезапно) js для какогонить безголового вебкита. мерзко, но зато самый гибкий путь. ибо как не крути, но и фантом и электрон для пользовательского кода предлагают использовать только js. а значит все питоновые обертки будут костылями. не знаю как для электрона, а для фантома питоновый драйвер жуть.

Да это я всё знаю, selenium пользуюсь уже который год, теперь хочу найти что-то типа того, но полегче, такой вот дауншифтинг. А что драйвер для фантома жуть? Разве жуть? Всё что надо делает, все эксепшены плюёт, если уж какая-то крайняя нужда, делай browser.execute_script

для сложного взаимодействия есть нюансы и ограничения. приходится форкать драйвер и допиливать. ну по крайней мере так было у меня. в конечном счете оказалось проще форкнуть сам фантом, внести несколько правок в исходники а весь функционал драйвера вынести в js модуль, который подгружается на обрабатываемую страницу. и напрямую общаться с фантомом по рпц протоколу. но он не умеет в uds, так что в конечном счете от фантома вообще отказался. к этому времени уже появился электрон с поддержкой uds и я перешел на него. да и фантом савсем не обновляется в плане функциональности.

но возможно это мой специфичный кейс и я просто не умею его готовить)

а полегче, если речь о js движке с поведением схожим с браузерным, думаю ничего нет. была мысля прикрутить допиленный nodejs но слишком много работы нужно проделать. и будет ли это «легче» - большой вопрос. хотя он вроде не течет как сучка (электрон всеравно подтекает, о фантоме молчу, это боль).