История изменений
Исправление Garik368, (текущая версия) :
ещё есть один вопрос, связанный с этим скриптом - основное время работы занимает не сам парсинг, а долгое выполнение функции requests.get(url, headers=header) - порядка 1,4 секунды. Когда надо обработать несколько тысяч страниц, эти секунды выливаются в десятки минут…
С чем это может быть связано? С сервером, на котором находится сайт, или что-то в моём оборудовании или коде?
Исходная версия Garik368, :
ещё есть один вопрос, связанный с этим скриптом - основное время работы занимает не сам парсинг, а долгое выполнение функции requests.get(url, headers=header) - порядка 1,4 секунды. Когда надо обработать несколько тысяч страниц, эти секунды выливаются в десятки минут…
С чем это связано? С сервером, на котором находится сайт, или что-то в моём оборудовании или коде?