LINUX.ORG.RU
решено Форум — Admin  

Поисковы роботы? грузят сервер

 , , ,


1

3

На сервере из 24Гб ОЗУ занято 19Гб. Обычно занято примерно 7Гб. Смотрю логи nginx, вижу, что идёт сканирование от mail.ru. Неужели поисковой робот может так загрузить сервер? И это уже не первый раз, когда-то тоже было, прошло само по себе.

Как решать?

Перезагружал апач и nginx, толку ноль. Теперь прошло опять само по себе. Среди сканирующих ботов вижу ещё спутник, bing и yandex.

★★★★★

Последнее исправление: Amet13 (всего исправлений: 2)

 ← 1 2 →
Ответ на: комментарий от reprimand

тесты уже приводили - апач неадекватно жрет память на высоких нагрузках

Нету у него высокиих нагрузок.

xtraeft ★★☆☆
()
Ответ на: комментарий от Apple-ch

говноботы

Говноботы возможно, а бот мейл.ру - нет.

xtraeft ★★☆☆
()

Чтобы nginx перегрузился статикой — это настоящий DDoS делать надо. Чтобы поисковые боты такое учинили — нереально.

А на уровне скриптов — считай суммарное время выполнения, скажем, за 10 последних минут и группируй по ботам. Если какой-то превысит некий лимит (у меня это сейчас обычно 20..60 секунд работы на бота), то возвращаешь ему сразу error 503. Я так справляюсь :) А то, да, некоторые, типа Mail.Ru или Hrefs бывают жутко наглыми. Да и Google может, порой, жёстко пройти.

KRoN73 ★★★★★
()
Ответ на: комментарий от KRoN73

Да и Google может, порой, жёстко пройти.

Настраивается в webmaster tools

xtraeft ★★☆☆
()

Робот может не только загрузить сервак но и за-dos-ить.

Можно выкинуть апаче, и перелезть на nginx+fpm, для роботов есть delay (http://en.wikipedia.org/wiki/Robots_exclusion_standard).

Также не помешает потюнить mysql (или что там у вас).

invokercd ★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
 ← 1 2 →
Admin