История изменений
Исправление fsb4000, (текущая версия) :
Кстати спасибо, вроде помогло.
Одного user агента и задержки не хватало. Сайт всё равно понимал, что перед ним робот и банил :(
Сейчас вроде работает.
Помогло:
- 15 секунд ожидания между переходом на другую страницу(при 10 секунд появлялась гугло капча после ~30 страницы)
- Использование chromedriver + selenium
Почему так не любят роботов? Почему просто проверки количества запросов в минуту не достаточно?
Исходная версия fsb4000, :
Кстати спасибо, вроде помогло.
Одного user агента и задержки не хватало. Сайт всё равно понимал, что перед ним робот и банил :(
Сейчас вроде работает.
Помогло:
- 15 секунд ожидания между переходом на другую страницу(при 10 секунд появлялась гугло капча)
- Использование chromedriver + selenium
Почему так не любят роботов? Почему просто проверки количества запросов в минуту не достаточно?