LINUX.ORG.RU

Вычисление роботов

 , , , ,


0

1

По каким признакам запроса можно определить, что стучится бот? Яндекс/Гугл/Еще кто. Может есть какие-то списки юзер-агентов? Но я где-то слышал, что яндекс-гугл умеет ходить с чужими юзер-агентами.

★★★★★

По первому вопросу, сам должен понимать что общего решения нет.
По второму, «официальных» списков нет, в интернетах можешь попробовать найти, что люди составляли.
Для отдельных поисковиков, можно у них в доках посмотреть.

anonymous ()