Bingbot наступает!

Вполне вероятно. Меня когда Acunetix'ом сканили, меняли агент на гуглобота. Эта дрянь по хедерам палится.

Здравствуйте.

Я помню когда то давно у меня тоже была проблема такая но меня атаковал MSNBOT. На счет бинга что то не помню

Что это делает в админ?

Вот это читал? http://www.bing.com/webmaster/help/how-to-verify-bingbot-3905dc26

Косят — не косят, а bingbot та ещё зараза. Ломится по триста раз в час с разных IP на один и тот же контент. И фетчит, фетчит, фетчит ... фетчит и фетчит.

Можешь смело добавить 157.55.39.0/24 в black-list. Хуже от этого не будет.

PS: точнее даже: 157.54.0.0/15, 157.60.0.0/16, 157.56.0.0/14

Если поисковый бот твой сайт «DDoSит», то это с сайтом что-то не так.

К bing/msn это не относится. ;) (См. выше)

Можешь смело добавить 157.55.39.0/24 в black-list. Хуже от этого не будет.

Если сайт такой кривой, что катастрофически не справляется с ботом, то проще выдавать 503-ю ошибку при частых запросах. Бинг (как и подавляющее большинство популярных ботов) её корректно отрабатывает.

Справляться то справляется. Но только сам лично наблюдал, что bing-bot'у на всё плевать (в том числе на robots.txt). Логи пухнут только от того, что он часами индексирует один и тот же url.

Ломится по триста раз в час с разных IP на один и тот же контент.

За такой тест можно и денег приплатить, а тут халява. KRoN73 тему говорит.

К bing/msn это не относится. ;) (См. выше)

Ну, не знаю. Сайтов дофига, Бинг никогда не попадался на криминале. Вот прямо сейчас — всего 3% общей загрузки:
https://twitter.com/balancer73/status/578252446876721152

Вот Яндекс и Гугл — те плотно садятся. Им приходится регулярно 503 отдавать, когда лимит нагрузки превышают. А самый свирепый — это http://ahrefs.com — вот этот часто тысячными налётами грешит с полным игнором 503. Но даже его я не баню — нафига? :)

что bing-bot'у на всё плевать (в том числе на robots.txt)

У меня он исправно реагирует и на robots.txt, и на 503.

Кстати, а ты IP его проверял? А то, может, и вправду косят? Я такое «от Гугла» несколько раз наблюдал.

Логи пухнут только от того, что он часами индексирует один и тот же url.

Или это не Бинг, или с сайтом что-то не так. Поройся в их же Вебмастере, там много дельных советов и анализ всякий. Я периодически поглядываю.

Ну, не знаю. Сайтов дофига, Бинг никогда не попадался на криминале.

Раньше бывало, сейчас глянул, вроде исправился.

С другой стороны bing погоды не делает. Кто вообще им пользуется? ;)

Кстати, а ты IP его проверял? А то, может, и вправду косят?

Ко мне он одно время ломился с 157.55.39.0/24 — и это он.

Маленькая статистика (top-10 за 2 года):

1121268 Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
159146 Mozilla/5.0 (compatible; MJ12bot/v1.4.4; http://www.majestic12.co.uk/bot.php? )
136020 Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php? )
49526 Mozilla/5.0 (compatible; MJ12bot/v1.4.3; http://www.majestic12.co.uk/bot.php? )
35008 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
16423 Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)
12165 Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)
10931 Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
9260 Mozilla/5.0 (compatible; AhrefsBot/4.0; +http://ahrefs.com/robot/)
7149 Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot@gmail.com)

помогло в .htaccess

Я в тебе не ошибся. Держать апач на фронтенде и банить им ботов - идиотизм.

35008 хитов гуглобота за 2 года? Ну и стата у тебя.

Что ты имеешь в виду под «стата»? ;) 50 хитов в день только от гугля. (И 1500 в день от bing) Там, где надо, я на первых страницах, хотя меня это тоже мало чешит.

Я в тебе не ошибся.

Мопед Сервер был не мой. Решение про фронтэнд, не волнуйся, как и тюнинг СУБД, я предложил.

Поломай лучше это http://filippov.by/

http://www.filippov.by/gen.php

полностью согласен с Вами

1500 в день - это примерно 60 в час или раз в минуту. Это нагрузка?

5 Stars

Ну, сейчас глянул, за месяц — 70 заходов. С одной стороны, мизер, с другой — этих бы посетителей иначе не было. А это всего 19% отказа, что сильно меньше среднего и 16 из них остались.

Мажестик ходит чаще Гугла? Неожиданно. У меня Мажестик редкий гость (но очень наглый).

Кто тут говорит про «нагрузку»? Это ты сам придумал.

Мне больше портится «чувство прекрасного», когда банальный index.html 60 раз в час индексируется.

А вот ещё top-11 за послении 2 месяца — что более актуально:

9990 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
2376 Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php? )
1520 Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
1173 Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
1142 Mozilla/5.0 (compatible; YandexNews/3.0; +http://yandex.com/bots)
 839 Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)
 831 Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)
 647 Mozilla/5.0 (compatible; spbot/4.4.2; +http://OpenLinkProfiler.org/bot )
 518 TurnitinBot/3.0 (http://www.turnitin.com/robot/crawlerinfo.html)
 515 Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; B; +http://yandex.com/bots)0 readers
 427 Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Тепеть bing ведёт себя хорошо (я, кстати, ничего не блочу), и mj реже заходит.