LINUX.ORG.RU

Меня не забанят за crawling ЛОРа скриптом?


0

1

Хочу спросить мнение администрации ресурса о подобного рода затею. Хочу собрать некоторую статистику.

Если maxcom не разрешит, не буду. Может есть пожелания по максимальному количеству запросов в секунду?

★★★☆☆

Народ всякую статистику давно уже собирает — не банят же.

Тем паче, ты это анонимно будешь делать все равно.

Eddy_Em ☆☆☆☆☆ ()

может, лучше поможешь написать ЛОР API? Где-то был топик на эту тему…

DoctorSinus ★★★★★ ()

Уже все кому не лень парсили, думаю всем пофиг.

Хотя вроде апи таки пилится, может есть смысл подождать.

Kalashnikov ★★★ ()
Ответ на: комментарий от DoctorSinus

А в чем помочь надо? Могу советом помочь, а если ЯП приличный — то и быдлокодом.

Eddy_Em ☆☆☆☆☆ ()
Ответ на: комментарий от Eddy_Em

Фу

некоторые помнят времена, когда ЛОР был написан на php3. Так что не такое уж и фу…

DoctorSinus ★★★★★ ()

crawling ЛОРа скриптом

а потом у нормальных людей ЛОР тормозит.
Так что банить.

Bad_ptr ★★★★ ()
Ответ на: комментарий от DoctorSinus

Ладно, веб-разработчик из меня отстойный. Я пока на кошерных сях что-нибудь наваяю…

Eddy_Em ☆☆☆☆☆ ()

В один поток, лучше с ограничением в 1Mbit/sec

maxcom ★★★★★ ()

Для справки, на гугловебмастертулс можно зафорсить максимум 3 запроса поисковика в секунду. А реально там 1 запрос в секунду, или меньше. При подключенном sitemap.

Все что больше 1 запроса в секунду к динамике, имеет шансы выделиться из общей картины, если админ пожелает закрутить гайки.

Это не конкретно про лор, а вообще, общий принцип.

Vit ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.