LINUX.ORG.RU

Ответ на: комментарий от linkin2

Тут уже не подскажу, придется поискать и сделать под себя. Ну или найти того, кто сделает это для тебя.

Demacr ★★
()
Ответ на: комментарий от linkin2

Начни с вики проекта, там есть примеры конфигурации. Если ничего не найдешь, спроси у гугла.

hippi90 ★★★★★
()
Ответ на: комментарий от Demacr

Fail2ban?

Для вэба толку ноль, бот быстро пробежится и возвращаться вряд ли будет, fail2ban отработает постфактум, когда уже не интересно.

anc ★★★★★
()
Последнее исправление: anc (всего исправлений: 1)
Ответ на: комментарий от anc

Дак можно же подтюнить findtime до 10 сек, нагрузка на CPU будет повыше, но за 10 сек все пропарсить не сможет. Ну или играться с настройками веб-сервера, сходу не могу придумать как оградиться от такого.

Demacr ★★
()

Что ты имеешь ввиду под словом «бороться»?
Не пускать на сервер? Не пускать кого? По каким признакам?

Тех кто запрашивает несуществующие страницы?
А если у тебя на существующих страницах вдруг окажутся «битые» ссылки на свой сайт, ты обычных посетителей тоже банить будешь?

Для начала попробуй формализовать, что есть бот в конкретно твоих условиях. Тогда, наверно, станет виднее, что и как с ним делать.

blexey ★★★★★
()

Никогда не видел ничего страшного в такой активности. Если переборщить с блокировками то можно случайно лишится части легитимных пользователей

Andreezy
()

А если по делу внимательно изучите заголовки ботов и настоящих пользователей. Самое простое - банить всех с нестандартным юзер агентом(кроме поисковых ботов само собой). Сомневаюсь что ваш сервер является целевым для сканера, скорее всего это масс скан тысяч сайтов

Andreezy
()

Всё нормально. Не пользуйся вордпрессами и прочим мейнстримом, следи за получаемыми из запросов данными, не открывай дырявые админки с модным паролем типа admin/querty/123456 и всё будет хорошо. Я бы для прикола сделал php скрипт, какой ему нужен и посмотрел, что он будет совать в параметры. Можно сделать заглушки с задержкой секунд 10-20, пусть подождёт ответов.

crutch_master ★★★★★
()
Последнее исправление: crutch_master (всего исправлений: 1)
Ответ на: комментарий от anc

Тут скорее спортивный интерес, нежели рациональный.

Demacr ★★
()
Ответ на: комментарий от anc

смысл в этом есть. когда на сервер наваливается много ботов, он начинает тормозить. я как-то один сервер чистила от ботов. он после этого летать стал. а до введения фильтрации он едва шевелился. боты наседали прямо сотнями.

Iron_Bug ★★★★★
()
Последнее исправление: Iron_Bug (всего исправлений: 1)
Ответ на: комментарий от Iron_Bug

Вот это интересно. Боты с одного ip-адреса/фиксированного-списка-адресов ? И что они творили на самом деле? Как чистили?

anc ★★★★★
()
Ответ на: комментарий от anc

нет. был какой-то нездоровый наплыв ботов, все с разных подсеток, принадлежавших одному владельцу (тогда ещё whois не испортили и можно было легко видеть владельца подсетки). но этих подсеток было просто умотаться. они плодились прямо на глазах. я не знаю, что это было. какое-то массированное нападение на сервер. но на сервере хостилось так дофига ресурсов, что выяснить, какой конкретно ресурс вызвал столь бурную активность, было нереально.

я тогда сама написала скрипты, и когда скрипт обнаруживал подозрительную активность (слишком частые обращения, обращения на несуществующие страницы и т.д.), скрипт проверял владельца подсетки и банил всю подсетку, если владелец «вражеский» :)

ну и фильтрация на количество запросов в секунду. и fail2ban. но он вражеские подсетки обнаруживать не умел. а может, и умел, но там, вероятно, надо было писать правила как-то под его формат. мне было проще накатать на перле самодельный велосипед и дёргать его из крона.

также ботов легко вычислять по юзерагенту. большинство тупых ботов имеет юзерагент с именем энджина, который запущен. и это не браузеры. примерно процентов 20 ботов так отсеивать можно.

также можно устанавливать хонипоты. и подключать блэклисты из существующих списков ботов и разных вредителей.

главное, полезных пауков не поубивать в процессе борьбы :)

Iron_Bug ★★★★★
()
Последнее исправление: Iron_Bug (всего исправлений: 4)
Ответ на: комментарий от Iron_Bug

Спасибо, за ответы. Это похоже на целенаправленную атаку, тут согласен, «универсального» решения не будет.

anc ★★★★★
()
Ответ на: комментарий от anc

Для вэба толку ноль, бот быстро пробежится

Не так уж и быстро:

# /var/log/nginx/access.log
140.143.34.155 - - [19/Feb/2019:22:16:32 +0300] "PROPFIND / HTTP/1.1" 405 173 "-" "-" "-"
140.143.34.155 - - [19/Feb/2019:22:16:32 +0300] "GET /webdav/ HTTP/1.1" 404 3650 "-" "Mozilla/5.0" "-" 
140.143.34.155 - - [19/Feb/2019:22:16:33 +0300] "GET /2FBA7CC1.php HTTP/1.1" 404 3650 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:28.0) Gecko/20100101 Firefox/28.0" "-" 
140.143.34.155 - - [19/Feb/2019:22:16:35 +0300] "GET /help.php HTTP/1.1" 404 3650 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:28.0) Gecko/20100101 Firefox/28.0" "-"
140.143.34.155 - - [19/Feb/2019:22:16:36 +0300] "GET /java.php HTTP/1.1" 404 3650 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:28.0) Gecko/20100101 Firefox/28.0" "-"
140.143.34.155 - - [19/Feb/2019:22:16:36 +0300] "GET /_query.php HTTP/1.1" 404 3650 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:28.0) Gecko/20100101 Firefox/28.0" "-"
140.143.34.155 - - [19/Feb/2019:22:16:37 +0300] "GET /test.php HTTP/1.1" 404 3650 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:28.0) Gecko/20100101 Firefox/28.0" "-"

# /var/log/fail2ban.log
2019-02-19 22:16:32,936 fail2ban.filter         [29424]: INFO    [nginx-404] Found 140.143.34.155
2019-02-19 22:16:33,939 fail2ban.filter         [29424]: INFO    [nginx-404] Found 140.143.34.155
2019-02-19 22:16:35,943 fail2ban.filter         [29424]: INFO    [nginx-404] Found 140.143.34.155
2019-02-19 22:16:36,946 fail2ban.filter         [29424]: INFO    [nginx-404] Found 140.143.34.155
2019-02-19 22:16:36,946 fail2ban.filter         [29424]: INFO    [nginx-404] Found 140.143.34.155
2019-02-19 22:16:37,477 fail2ban.actions        [29424]: NOTICE  [nginx-404] Ban 140.143.34.155
ivn86
()
Ответ на: комментарий от ivn86

Хм, действительно. Вопрос, на основании чего в бан отправляете? Виды запросов /java.php &etc ?

anc ★★★★★
()

Прежде чем с такими ботами бороться, попробуй понять, как в результате такой борьбы случайно не побороть гугл, например, или кого-то другого тоже полезного, о ком так сразу и не подумаешь.

Ну и до кучи, если попробуешь бороться активно, вспомни про статьи УК из главы «ПРЕСТУПЛЕНИЯ В СФЕРЕ КОМПЬЮТЕРНОЙ ИНФОРМАЦИИ» (в других странах тоже что-то подобное есть). Потому что потом тот, чьего бота ты сломаешь, заявит, что ты сделал это сознательно и у него будет твой IP.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.