LINUX.ORG.RU

История изменений

Исправление snizovtsev, (текущая версия) :

сделать на сервере некий «эфир для ИИ»

Ага, т.е. скрапер который сейчас мухлюет с User-Agent вдруг пойдет соблюдать какие-то там стандарты. Которые будут реализованы на 0.01% серверах, а корректно работать на 0.001%.

Мой вариант – Google/AWS/Azure/Alibaba реализуют свой 1 скрапер на всё облако с общим кешем, а в контракте аренды VPS прописывают бан за самостоятельный массовый скрейпинг. В итоге и провайдеру денежка, запросов меньше за счёт кеша, а реализация будет уважать user-agent и robots_txt.

Исходная версия snizovtsev, :

сделать на сервере некий «эфир для ИИ»

Ага, т.е. скрапер который сейчас мухлюет с User-Agent вдруг пойдет соблюдать какие-то там стандарты. Которые будут реализованы на 0.01% серверах, а корректно работать на 0.001%.

Мой вариант – Google/AWS/Azure/Alibaba реализуют свой 1 скрапер на всё облако с общим кешем, а в контракте аренды VPS прописывают бан за самостоятельный скрейпинг. В итоге и провайдеру денежка, запросов меньше за счёт кеша, а реализация будет соблюдать лимиты и robots_txt.