Борьба с ботами

Fail2ban?

Слышал о нем, но как его настроить под мой случай?

Тут уже не подскажу, придется поискать и сделать под себя. Ну или найти того, кто сделает это для тебя.

Начни с вики проекта, там есть примеры конфигурации. Если ничего не найдешь, спроси у гугла.

Fail2ban?

Для вэба толку ноль, бот быстро пробежится и возвращаться вряд ли будет, fail2ban отработает постфактум, когда уже не интересно.

Дак можно же подтюнить findtime до 10 сек, нагрузка на CPU будет повыше, но за 10 сек все пропарсить не сможет. Ну или играться с настройками веб-сервера, сходу не могу придумать как оградиться от такого.

Что ты имеешь ввиду под словом «бороться»?
Не пускать на сервер? Не пускать кого? По каким признакам?

Тех кто запрашивает несуществующие страницы?
А если у тебя на существующих страницах вдруг окажутся «битые» ссылки на свой сайт, ты обычных посетителей тоже банить будешь?

Для начала попробуй формализовать, что есть бот в конкретно твоих условиях. Тогда, наверно, станет виднее, что и как с ним делать.

Никогда не видел ничего страшного в такой активности. Если переборщить с блокировками то можно случайно лишится части легитимных пользователей

А если по делу внимательно изучите заголовки ботов и настоящих пользователей. Самое простое - банить всех с нестандартным юзер агентом(кроме поисковых ботов само собой). Сомневаюсь что ваш сервер является целевым для сканера, скорее всего это масс скан тысяч сайтов

сходу не могу придумать как оградиться от такого

А смысла в этом нет.

Всё нормально. Не пользуйся вордпрессами и прочим мейнстримом, следи за получаемыми из запросов данными, не открывай дырявые админки с модным паролем типа admin/querty/123456 и всё будет хорошо. Я бы для прикола сделал php скрипт, какой ему нужен и посмотрел, что он будет совать в параметры. Можно сделать заглушки с задержкой секунд 10-20, пусть подождёт ответов.

Тут скорее спортивный интерес, нежели рациональный.

смысл в этом есть. когда на сервер наваливается много ботов, он начинает тормозить. я как-то один сервер чистила от ботов. он после этого летать стал. а до введения фильтрации он едва шевелился. боты наседали прямо сотнями.

Вот это интересно. Боты с одного ip-адреса/фиксированного-списка-адресов ? И что они творили на самом деле? Как чистили?

нет. был какой-то нездоровый наплыв ботов, все с разных подсеток, принадлежавших одному владельцу (тогда ещё whois не испортили и можно было легко видеть владельца подсетки). но этих подсеток было просто умотаться. они плодились прямо на глазах. я не знаю, что это было. какое-то массированное нападение на сервер. но на сервере хостилось так дофига ресурсов, что выяснить, какой конкретно ресурс вызвал столь бурную активность, было нереально.

я тогда сама написала скрипты, и когда скрипт обнаруживал подозрительную активность (слишком частые обращения, обращения на несуществующие страницы и т.д.), скрипт проверял владельца подсетки и банил всю подсетку, если владелец «вражеский» :)

ну и фильтрация на количество запросов в секунду. и fail2ban. но он вражеские подсетки обнаруживать не умел. а может, и умел, но там, вероятно, надо было писать правила как-то под его формат. мне было проще накатать на перле самодельный велосипед и дёргать его из крона.

также ботов легко вычислять по юзерагенту. большинство тупых ботов имеет юзерагент с именем энджина, который запущен. и это не браузеры. примерно процентов 20 ботов так отсеивать можно.

также можно устанавливать хонипоты. и подключать блэклисты из существующих списков ботов и разных вредителей.

главное, полезных пауков не поубивать в процессе борьбы :)

Спасибо, за ответы. Это похоже на целенаправленную атаку, тут согласен, «универсального» решения не будет.

Для вэба толку ноль, бот быстро пробежится

Не так уж и быстро:

# /var/log/nginx/access.log
140.143.34.155 - - [19/Feb/2019:22:16:32 +0300] "PROPFIND / HTTP/1.1" 405 173 "-" "-" "-"
140.143.34.155 - - [19/Feb/2019:22:16:32 +0300] "GET /webdav/ HTTP/1.1" 404 3650 "-" "Mozilla/5.0" "-" 
140.143.34.155 - - [19/Feb/2019:22:16:33 +0300] "GET /2FBA7CC1.php HTTP/1.1" 404 3650 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:28.0) Gecko/20100101 Firefox/28.0" "-" 
140.143.34.155 - - [19/Feb/2019:22:16:35 +0300] "GET /help.php HTTP/1.1" 404 3650 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:28.0) Gecko/20100101 Firefox/28.0" "-"
140.143.34.155 - - [19/Feb/2019:22:16:36 +0300] "GET /java.php HTTP/1.1" 404 3650 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:28.0) Gecko/20100101 Firefox/28.0" "-"
140.143.34.155 - - [19/Feb/2019:22:16:36 +0300] "GET /_query.php HTTP/1.1" 404 3650 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:28.0) Gecko/20100101 Firefox/28.0" "-"
140.143.34.155 - - [19/Feb/2019:22:16:37 +0300] "GET /test.php HTTP/1.1" 404 3650 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:28.0) Gecko/20100101 Firefox/28.0" "-"

# /var/log/fail2ban.log
2019-02-19 22:16:32,936 fail2ban.filter         [29424]: INFO    [nginx-404] Found 140.143.34.155
2019-02-19 22:16:33,939 fail2ban.filter         [29424]: INFO    [nginx-404] Found 140.143.34.155
2019-02-19 22:16:35,943 fail2ban.filter         [29424]: INFO    [nginx-404] Found 140.143.34.155
2019-02-19 22:16:36,946 fail2ban.filter         [29424]: INFO    [nginx-404] Found 140.143.34.155
2019-02-19 22:16:36,946 fail2ban.filter         [29424]: INFO    [nginx-404] Found 140.143.34.155
2019-02-19 22:16:37,477 fail2ban.actions        [29424]: NOTICE  [nginx-404] Ban 140.143.34.155

Хм, действительно. Вопрос, на основании чего в бан отправляете? Виды запросов /java.php &etc ?

Прежде чем с такими ботами бороться, попробуй понять, как в результате такой борьбы случайно не побороть гугл, например, или кого-то другого тоже полезного, о ком так сразу и не подумаешь.

Ну и до кучи, если попробуешь бороться активно, вспомни про статьи УК из главы «ПРЕСТУПЛЕНИЯ В СФЕРЕ КОМПЬЮТЕРНОЙ ИНФОРМАЦИИ» (в других странах тоже что-то подобное есть). Потому что потом тот, чьего бота ты сломаешь, заявит, что ты сделал это сознательно и у него будет твой IP.