LINUX.ORG.RU
решено Форум — General  

как избавиться от ботов-сканеров?


0

2

привет.

в логе постоянно вижу нечто вроде:

[Sun Apr 21 08:49:07 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/14272-richard-durand-vsthe-world-feat-protoculture-pleasure.html

[Sun Apr 21 08:52:16 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/engine

[Sun Apr 21 08:53:03 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/13011-david-guetta-feat-justice-crew-boom-boom.html

[Sun Apr 21 08:55:15 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/514-sanna-nielsen-cant-stop-love-tonight.html

[Sun Apr 21 09:00:13 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/5290-bob-sinclar-ft-mr-shammi-colonel-reyel-me-not-a-gangsta-radio-edit.html

[Sun Apr 21 09:00:35 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/engine

[Sun Apr 21 09:01:58 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/engine

[Sun Apr 21 09:03:16 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/9088-kurt-calleja-this-is-the-night-evrovidenie-2012-malta.html

[Sun Apr 21 09:03:19 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/6415-aleksandr-rozenbaum-i-grigoriy-leps-posvyaschenie-mandelshtamu.html

[Sun Apr 21 09:03:55 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/engine

[Sun Apr 21 09:04:46 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/engine

[Sun Apr 21 09:05:37 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/13936-bobina-the-space-track-radio-edit.html

[Sun Apr 21 09:05:52 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/1018-lasgo-here-with-me-radio-edit.html

[Sun Apr 21 09:06:16 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/7676-orlow-feat-jason-caesar-higher-radio-edit.html

[Sun Apr 21 09:06:37 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/1435-nadine-let-it-rain-radio-edit.html

[Sun Apr 21 09:07:30 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/2005-alena-lanskaya-nebo-znaet.html

[Sun Apr 21 09:08:19 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/1312-velvet-nanolyubov-album-version.html

[Sun Apr 21 09:08:30 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/2037-inusa-dawuda-feat-magnetix-project-walking-on-sunshine-fm-radio-edit.html

[Sun Apr 21 09:09:03 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/13888-nochnye-snaypery-chto-my-delali-proshlym-letom.html

[Sun Apr 21 09:09:13 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/6660-anzhelika-varum-zimnyaya-vishnya-2011.html

[Sun Apr 21 09:09:45 2013] [error] [client 173.199.114.235] File does not exist: /var/www/...site.dom/8158-intonaciya-in2nation-avgust-vosmogo.html

но у меня на сайте ничего такого нет. мне так кажется, это какой-то бот копирастов?

думаю, имеет смысл забанить его, ибо создает лишнюю нагрузку. или не стОит?

спасибо.

★★★

Последнее исправление: niXman (всего исправлений: 1)

Ответ на: комментарий от anonymous

а немогли бы Вы как-то более развернуто ответить. а то я что-то ни первые два предложения не понял, ни третье %)

спасибо.

niXman ★★★
() автор топика
Последнее исправление: niXman (всего исправлений: 1)

это ahrefs бот.
нет, это не копирасты.
да, его можно забанить, если он доставляет неудобства.

а сайт твой или взломали и залили туда дорвеи (потом удалили), или домен раньше кто то использовал под такой контент.

xtraeft ★★☆☆
()
Ответ на: комментарий от xtraeft

а сайт твой или взломали и залили туда дорвеи

это что?

или домен раньше кто то использовал под такой контент.

может быть. но лет шесть этот домен мой.

niXman ★★★
() автор топика
Ответ на: комментарий от niXman

такое нагуглилось: iptables -A INPUT -s 65.55.44.100 -p tcp --destination-port 25 -j DROP

т.е. так как эти запросы приходят по http, наверное логично заблокировать именно для 80го порта?

т.е.: iptables -A INPUT -s 173.199.114.235 -p tcp --destination-port 80 -j DROP

?

niXman ★★★
() автор топика
Ответ на: комментарий от risenshnobel

ах да, что-то я не подумал об об этом. по юзерагенту все становится понятней:

173.199.114.235 - - [21/Apr/2013:10:39:05 +0000] «GET /3589-alisa-2012-2011.html HTTP/1.1» 404 459 "-" «Mozilla/5.0 (compatible; AhrefsBot/4.0; +http://ahrefs.com/robot/)»

и тут даже рассказано о том, как от него избавится: http://ahrefs.com/robot/

niXman ★★★
() автор топика
Последнее исправление: niXman (всего исправлений: 2)
Ответ на: комментарий от niXman

оно же гуглится с полпинка :)
ты уже и сам нашел

и тут даже рассказано о том, как от него избавится: http://ahrefs.com/robot/

можно еще на фронтенде по юзерагенту банить
а урлы вида 8158-intonaciya-in2nation-avgust-vosmogo.html они не из головы выдумывают, значит кто то ссылался на них или упоминались где то.

забей :)

xtraeft ★★☆☆
()
Последнее исправление: xtraeft (всего исправлений: 1)
Ответ на: комментарий от xtraeft

в robots.txt прописал, но пока все равно ходит. подожду еще.

урлы вида 8158-intonaciya-in2nation-avgust-vosmogo.html они не из головы выдумывают, значит кто то ссылался на них или упоминались где то.

но точно не на моем сайте =)

niXman ★★★
() автор топика
Ответ на: комментарий от niXman

но точно не на моем сайте =)

на чужих
можешь кстати например на ахрефсе и посмотреть, кто на тебя ссылается

xtraeft ★★☆☆
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
General