Выполнение ботом своих и общих правил в robots.txt

Т.е. суть в том чтобы ограничить количество запросов от одного наглого бота, при этом общие правила должны действовать и на него.

Вроде нагуглил что-то годное: https://audisto.com/insights/guides/4/

You need to duplicate the rules if you want a bot to apply all of them.

Всякие мордокниги и твиттеры делают так же.

ограничить количество запросов от одного наглого бота

есть мнение, что если бот действительно наглый, то клал он на твои robots.txt с пробором.

ищи другие методы. например, придумай как сделать так, чтобы сайт твой не загибался от полутора посетителей+бот ;)

есть мнение, что если бот действительно наглый, то клал он на твои robots.txt с пробором.

Не, по отзывам этот бот не настолько наглый.

например, придумай как сделать так, чтобы сайт твой не загибался от полутора посетителей+бот ;)

Сайт работает нормально, просто логи смотреть неудобно.

просто логи смотреть неудобно.

grep -v? нет, не слышал! ;)

grep -v? нет, не слышал! ;)

У меня tail -F лог в реальном времени выводит, что-то с грепом костылять лень :) Тем более что тот бот таки наглеет.

В общем у меня robots.txt динамически генерируется, так что проблему с дублированием правил я уже решил. Мешает лишь скудность информации по обработке этих правил и размытость/неоднозначность „стандартов”.

Да, гуглебот походу не поддерживает Crawl-delay, поэтому их проверялка и матюгается, даже если это не его секция.

У меня tail -F лог в реальном времени выводит, что-то с грепом костылять лень :)

Грепать tail никто не запрещал. Дописывай его через пайп с -v ключём как советовали выше и радуйся.

Тем более что тот бот таки наглеет.

А это уже вопрос посложнее. Если этот бот мешает то может его вырезать где-нибудь пониже веб-сервера (iptables, например). (извиняюсь если хрень сморозил. с ботами дел не имел никогда)