Исправление Iron_Bug, (текущая версия) :
нет. был какой-то нездоровый наплыв ботов, все с разных подсеток, принадлежавших одному владельцу (тогда ещё whois не испортили и можно было легко видеть владельца подсетки). но этих подсеток было просто умотаться. они плодились прямо на глазах. я не знаю, что это было. какое-то массированное нападение на сервер. но на сервере хостилось так дофига ресурсов, что выяснить, какой конкретно ресурс вызвал столь бурную активность, было нереально.
я тогда сама написала скрипты, и когда скрипт обнаруживал подозрительную активность (слишком частые обращения, обращения на несуществующие страницы и т.д.), скрипт проверял владельца подсетки и банил всю подсетку, если владелец «вражеский» :)
ну и фильтрация на количество запросов в секунду. и fail2ban. но он вражеские подсетки обнаруживать не умел. а может, и умел, но там, вероятно, надо было писать правила как-то под его формат. мне было проще накатать на перле самодельный велосипед и дёргать его из крона.
также ботов легко вычислять по юзерагенту. большинство тупых ботов имеет юзерагент с именем энджина, который запущен. и это не браузеры. примерно процентов 20 ботов так отсеивать можно.
также можно устанавливать хонипоты. и подключать блэклисты из существующих списков ботов и разных вредителей.
главное, полезных пауков не поубивать в процессе борьбы :)
Исправление Iron_Bug, :
нет. был какой-то нездоровый наплыв ботов, все с разных подсеток, принадлежавших одному владельцу (тогда ещё whois не испортили и можно было легко видеть владельца подсетки). но этих подсеток было просто умотаться. они плодились прямо на глазах. я не знаю, что это было. какое-то массированное нападение на сервер. но на сервере хостилось так дофига ресурсов, что выяснить, какой конкретно ресурс вызвал столь бурную активность, было нереально.
я тогда сама написала скрипты, и когда скрипт обнаруживал подозрительную активность (слишком частые обращения, обращения на несуществующие страницы и т.д.), скрипт проверял владельца подсетки и банил всю подсетку, если владелец «вражеский» :)
ну и фильтрация на количество запросов в секунду. и fail2ban. но он вражеские подсетки обнаруживать не умел. а может, и умел, но там, вероятно, надо было писать правила как-то под его формат. мне было проще накатать на перле самодельный велосипед и дёргать его из крона.
также ботов легко вычислять по юзерагенту. большинство тупых ботов имеет юзерагент с именем энджина, который запущен. и это не браузеры. примерно процентов 20 ботов так отсеивать можно.
также можно устанавливать хонипоты. и подключать блэклисты из существующих списков ботов и разных вредителей.
Исправление Iron_Bug, :
нет. был какой-то нездоровый наплыв ботов, все с разных подсеток, принадлежавших одному владельцу (тогда ещё whois не испортили и можно было легко видеть владельца подсетки). но этих подсеток было просто умотаться. они плодились прямо на глазах. я не знаю, что это было. какое-то массированное нападение на сервер. но на сервере хостилось так дофига ресурсов, что выяснить, какой конкретно ресурс вызвал столь бурную активность, было нереально.
я тогда сама написала скрипты, и когда скрипт обнаруживал подозрительную активность (слишком частые обращения, обращения на несуществующие страницы и т.д.), скрипт проверял владельца подсетки и банил всю подсетку, если владелец «вражеский» :)
ну и фильтрация на количество запросов в секунду. и fail2ban. но он вражеские подсетки обнаруживать не умел. а может, и умел, но там, вероятно, надо было писать правила как-то под его формат. мне было проще накатать на перле самодельный велосипед и дёргать его из крона.
также ботов легко вычислять по юзерагенту. большинство тупых ботов имеет юзерагент с именем энджина, который запущен. и это не браузеры. примерно процентов 20 ботов так отсеивать можно.
Исправление Iron_Bug, :
нет. был какой-то нездоровый наплыв ботов, все с разных подсеток, принадлежавших одному владельцу (тогда ещё whois не испортили и можно было легко видеть владельца подсетки). но этих подсеток было просто умотаться. они плодились прямо на глазах. я не знаю, что это было. какое-то массированное нападение на сервер. но на сервере хостилось так дофига ресурсов, что выяснить, какой конкретно ресурс вызвал столь бурную активность, было нереально.
я тогда сама написала скрипты, и когда скрипт обнаруживал подозрительную активность (слишком частые обращения, обращения на несуществующие страницы и т.д.), скрипт проверял владельца подсетки и банил всю подсетку, если владелец «вражеский» :)
ну и фильтрация на количество запросов в секунду. и fail2ban. но он вражеские подсетки обнаруживать не умел. а может, и умел, но там, вероятно, надо было писать правила как-то под его формат. мне было проще накатать на перле самодельный велосипед и дёргать его из крона.
также ботов легко вычислять по юзерагенту. большинство тупых ботов имеет юзерагент с именем энджина, который запущен. примерно процентов 20 ботов так отсеивать можно.
Исходная версия Iron_Bug, :
нет. был какой-то нездоровый наплыв ботов, все с разных подсеток, принадлежавших одному владельцу (тогда ещё whois не испортили и можно было легко видеть владельца подсетки). но этих подсеток было просто умотаться. они плодились прямо на глазах. я не знаю, что это было. какое-то массированное нападение на сервер. но на сервере хостилось так дофига ресурсов, что выяснить, какой конкретно ресурс вызвал столь бурную активность, было нереально.
я тогда сама написала скрипты, и когда скрипт обнаруживал подозрительную активность (слишком частые обращения, обращения на несуществующие страницы и т.д.), скрипт проверял владельца подсетки и банил всю подсетку, если владелец «вражеский» :)
ну и фильтрация на количество запросов в секунду. и fail2ban. но он вражеские подсетки обнаруживать не умел. а может, и умел, но там, вероятно, надо было писать правила как-то под его формат. мне было проще накатать на перле самодельный велосипед и дёргать его из крона.