LINUX.ORG.RU
решено ФорумAdmin

Как снизить нагрузку на сайт от поисковиков ?

 , ,


0

3

Есть сайт 1000-1500 посетителей в сутки страниц около 50000 все время как заходит про индексировать ЯндексБот или ГуглБот сайт тормазит не реально... сервер крутится на nginx spawn-fcgi(php-cli) mysql сделал ограничения по запросам php скриптов 2 запроса в секунду не больше иначе выдает ошибку 50х правильно ли это ? Есть ли какие не будь другие решения ? Помогите плиз

в google webmaster tools и яндекс.вебмастер настроить частоту прихода робота + crawl-delay в robots.txt

но по хорошему надо задуматься о нормальном кешировании

xtraeft ★★☆☆
()

сайт тормазит не реально

да вам, батенька, в толксы нада, а не в этот раздел

ventilator ★★★
()
Ответ на: комментарий от Deleted

По подробнее об этом можно ? Ото я пишу еще один проект на Kohana 3.2 Он думаю будет высоко нагружаемым...

Just-Web
() автор топика
Ответ на: комментарий от Just-Web

К сожалениюю ничего не знаю, кроме того что это простое хранилище ключ (url) - значение (код html страницы). Полагаю умеет не генерить при каждом обращении к url заново код страницы, а использовать для этого код из кэша хранилища. Стоит на сервере с gentoo и работает из коробки. Даже настроек не требовалось подкручивать. nginx+php-fpm+memcached и sql сервер на postgresql.

Подробнее как это настраивать и как оно работает можно узнать на сайте http://www.memcached.org/about и на страничках вашего вер-сервера, веб-движка (php) и возможно фреймворка.

Deleted
()

mysql сделал ограничения по запросам php скриптов 2 запроса в секунду не больше

зря, подкрути sysctl на предмет net.core.somaxconn и др. когда будет over 150 хитов в секунду приходи снова ;)

beastie ★★★★★
()
Ответ на: комментарий от beastie

Не совсем понял о чем вы но проблема в том что конфиги моего сервера оперативки кушает все половина вот только процессорное время на полную катушку это только поисковые боты а в остальное время сервак курит бамбук....

Just-Web
() автор топика

Я не спец, но слышал, что можно снизить любопытство роботов файлом Имя_сайта/robots.txt

DinoAsm
()
Ответ на: комментарий от Deleted

я не совсем понял например есть динамический сайт то если его кешировать то вить не будут срабатывать счетчики просмотров!!! Если я не прав то поясните как это возможно реализовать на уровне web приложения !

Just-Web
() автор топика
Ответ на: комментарий от xtraeft

Да возможно сайт на CMS! Я чоху написать свой проект хотел узнать как реализовать с memcached получается js для счетчиков обязательно ?

Just-Web
() автор топика
Ответ на: комментарий от Just-Web

пока ты не научишься внятно описывать проблему и вообще общаться на форуме, вряд ли кто то поможет.

xtraeft ★★☆☆
()

Научитесь сначала ставить запятые. Это не так сложно, как кажется.

Это поможет вам общаться с людьми, это раз. Два, добавит ясности уму и мышлению.

Тогда и сайт перестанет не реально тормазить, может быть.

anarquista ★★★★★
()
Ответ на: комментарий от Just-Web

Не совсем понял о чем вы но проблема в том что конфиги моего сервера оперативки кушает все половина вот только процессорное время на полную катушку это только поисковые боты а в остальное время сервак курит бамбук....

,,,,,,,,,

Бери, пользуйся.

anonymous
()
Ответ на: комментарий от Just-Web

Система тормозит...

не, тормозит не система, инфа 146%

shrub ★★★★★
()
Ответ на: комментарий от Just-Web

Счетчики от рамблера работают исправно. Также работают счетчик на страницах самой MaxSite CMS.

Нужно наверное конкретный случай разбирать если счетчики остановятся.

Deleted
()
Ответ на: комментарий от Just-Web

Счетчики на js у меня действительно )

Deleted
()
Ответ на: комментарий от Deleted

Я имел виду счетчики просмотров! а не LI или рамблера...

Just-Web
() автор топика
Ответ на: комментарий от Just-Web

,,,,,,,,,

Бери, пользуйся.

Так, вить...

You're doing it wrong!

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.