История изменений
Исправление Iron_Bug, (текущая версия) :
ты хочешь сказать, что миру надо ради гугла перейти на статические сайты? и да, это число урлов может быть небольшим. а если бот добрался до поиска (который, конечно, прописан под запретом в robots.txt, но боту насрать) и начал дёргать запросы с произвольным набором данных? а они обычно именно это и делают. или начинают качать всю подряд мультимедию. хорошо, когда урлы выдают пустые лёгкие html'и. а если нет? а если там какие-нибудь HD картинки и прочие жирные данные. они тоже обычно закрыты в robots.txt, но ботов это не волнует.
ботов надо банить, а не прогибаться под них.
Исходная версия Iron_Bug, :
ты хочешь сказать, что миру надо ради гугла перейти на статические сайты? и да, это чисто урлов может быть небольшим. а если бот добрался до поиска (который, конечно, прописан под запретом в robots.txt, но боту насрать) и начал дёргать запросы с произвольным набором данных? а они обычно именно это и делают. или начинают качать всю подряд мультимедию. хорошо, когда урлы выдают пустые лёгкие html'и. а если нет? а если там какие-нибудь HD картинки и прочие жирные данные. они тоже обычно закрыты в robots.txt, но ботов это не волнует.
ботов надо банить, а не прогибаться под них.