История изменений
Исправление snizovtsev, (текущая версия) :
сделать на сервере некий «эфир для ИИ»
Ага, т.е. скрапер который сейчас мухлюет с User-Agent вдруг пойдет соблюдать какие-то там стандарты. Которые будут реализованы на 0.01% серверах, а корректно работать на 0.001%.
Мой вариант – Google/AWS/Azure/Alibaba реализуют свой 1 скрапер на всё облако с общим кешем, а в контракте аренды VPS прописывают бан за самостоятельный массовый скрейпинг. В итоге и провайдеру денежка, запросов меньше за счёт кеша, а реализация будет уважать user-agent и robots_txt.
Исходная версия snizovtsev, :
сделать на сервере некий «эфир для ИИ»
Ага, т.е. скрапер который сейчас мухлюет с User-Agent вдруг пойдет соблюдать какие-то там стандарты. Которые будут реализованы на 0.01% серверах, а корректно работать на 0.001%.
Мой вариант – Google/AWS/Azure/Alibaba реализуют свой 1 скрапер на всё облако с общим кешем, а в контракте аренды VPS прописывают бан за самостоятельный скрейпинг. В итоге и провайдеру денежка, запросов меньше за счёт кеша, а реализация будет соблюдать лимиты и robots_txt.