LINUX.ORG.RU

Сообщения solarys

 

Плюсы и минусы DLE

Кто работал с DLE, отпишите Ваше мнение о нем, много ли багов и насколько он грамоздкий, трудно ли допиливать и все остальное что сочтете нужным.

Самому его поднимать на сервере нет времени пока что, но в ближайшем будущем планируется использовать, возможно лучше сразу отказаться в пользу чего нить попроще.

solarys
()

Free proxy list

Писал грабилки для сбора информации на определенных сайтах, столкнулся с проблемой на одном из этих сайтов. При большом количестве запросов к сайту, сайт просто банит на 30 минут по ip. Добавил в скрипт 7 прокси серверов, пустил их выбираться рандомно. Все равно со временем одну из проксей банят - как следствие другие начинают отрабатывать чаще и постоянно 5 из 7 проксей(примерно) находятся в бане.

Возможности завести еще свои прокси нет. Хотел использовать листинги ананимных прокси, благо их в сети хватает. Написал несложных скрипт который рповеряет работоспособность проксей и пишет их в БД.

Проблема в том что они работают очень медленно(если работают вообще). Скрипт проверки отрабатывает а через пару часов прокся уже еле пашет.

Может кто нить сталкивался с подобными задачами, хотелось бы услышать идее как решить проблему. Чисто теоретически, реализация в принципе не проблема.

solarys
()

RSS подписка на новые темы