LINUX.ORG.RU
ФорумTalks

У кого прикупить прокси?


1

2

Дело в следующем: Есть скрипт, который парсит сайт X, и выкладывает информацию в более структурированном виде на сайт Y.

Хотя парсер совсем не агрессивен (в один поток по одной страничке в 2 секунды), но на днях, сайт X стал жестко ограничивать частоту обращений.

Я уже хотел плюнуть и закрыть этот проект, все равно он бесплатный, но за 2 года его существования у него сложилось устойчивое сообщество, которое, как выясняется, готово поддерживать его $.

Кто-н может посоветовать у кого мне прикупить прокси с большим кол-вом ip?

А может есть уже готовые облачные сервисы, где бы я мог разместить парсер и которые могли бы по запросу изменять ip?

поддерживать его $

Которые будешь перечислять владельцу сайта X, чтобы он убрал для тебя ограничение.

winlook38 ★★
()
Ответ на: комментарий от winlook38

Которые будешь перечислять владельцу сайта X, чтобы он убрал для тебя ограничение.

Если только сисадмину :-) у владельца сайта все хорошо, несмотря на то что сам сайт убог, у него огромная посещаемость и 100$ его ни как не возбудят.

Tor?

Это будет нецелевое использование замечательного проекта Тоr :-) Да и слишком медленный он

hi_artem
() автор топика
Ответ на: комментарий от hi_artem

100$

В месяц? Это ~20 арендованных виртуальных машин, на которых ты развернешь свои прокси-серверы. Или несколько виртуальных машин с несколькими ip-адресами. Может помимо тебя такой сервис еще кому-нибудь пригодится?

winlook38 ★★
()

Кто-н может посоветовать у кого мне прикупить прокси с большим кол-вом ip?

У Инферно раньше был очень хороший сокс сервис, IP меняются толи каждые 10, толи каждые 15 минут. Все прокси с ботнетов, поэтому скорость хорошая и они нигде не забанены, разных айпишников наверное десятки тысяч.

https://cp.inferno.name/
Оно либо станет видимо после регистрации, либо спроси сразу у сапорта.

winddos ★★★
()
Ответ на: комментарий от hi_artem

у него огромная посещаемость и 100$ его ни как не возбудят.

Ну если у тебя есть $100 в месяц, то штук 5 портов на инферновском ты вроде сможешь купить. :)

winddos ★★★
()

http://buy.fineproxy.org/
лучшее из публичных по цене/качеству

1) С момента рассылки и до 23:59, 9 августа, действует купон скидка на все пакеты прокси, а так же купоны продления. Купон 658C8B3021514618, дает скидку в 20%

ну и спроси саппорт, они вроде дают на тест бесплатно

p.s. листы-списки разумеется брать не надо

xtraeft ★★☆☆
()
Последнее исправление: xtraeft (всего исправлений: 2)
Ответ на: комментарий от xtraeft

очень дорого и криво у него

Про дорого согласен, про криво не согласен. Именно соксы у него идеальные, вот HTTP прокси кривые, но мне они и не нужны были.

winddos ★★★
()
Ответ на: комментарий от xtraeft

Кстати, на сервисе который ты дал есть смена выходных айпишников?
Просто у инферно это была киллер фитча, что все айпишники из совершенно разных точек мира, часто меняются и никогда не повторяются.

Даже если тот кого парсишь целенаправленно банит, это все равно ему не поможет :)

winddos ★★★
()
Ответ на: комментарий от winddos

Кстати, на сервисе который ты дал есть смена выходных айпишников?

нет, там просто пачка статик ip (они их меняют вроде периодически) - но и цена соответствующая (10-30 баксов в месяц).

я юзаю под разные цели, мне подходит.

xtraeft ★★☆☆
()
Ответ на: комментарий от xtraeft

неверно выразился - мутно.
тот еще рекламщик с завлекательными текстами.

Ну это же Инферно, он на этом зарабатывает, но сервисы у него качественные хотя-бы.

Ну и пост на который ты дал ссылку из 2010 года, я юзал его соксы в прошлом году весной. Естественно у него там не миллионы проксей в пуле, но даже парсинг гугла вполне работал с его соксами.

winddos ★★★
()
Ответ на: комментарий от xtraeft

я юзаю под разные цели, мне подходит.

Ну все от задачи зависит, конечно.

Я юзал инферновский сервис потому как меня по жести банили просто. Собирал статистику по демо рилам с одного казино :)

winddos ★★★
()
Ответ на: комментарий от winddos

Естественно у него там не миллионы проксей в пуле, но даже парсинг гугла вполне работал с его соксами.

ну еще бы он за 500 в месяц не работал.

но топикстартеру помоему для начала и дешевых файнпрокси хватит

xtraeft ★★☆☆
()
Ответ на: комментарий от hi_artem

нецелевое использование замечательного проекта Тоr

А какое тогда «целевое использование»? Просмотр детской порнографии бесплатно без регистрации и смс?

CYB3R ★★★★★
()
Ответ на: комментарий от CYB3R

А заюзать бесплатные прокси — не вариант?

1. их надо собирать и чекать (весьма трудоемкий процесс)
2. они постоянно дохнут.
3. скорость может быть зарезана по самое не хочу.

учитывая, что цель - коммерческая, то намного проще потратить деньги на нормальные стабильные соксы

xtraeft ★★☆☆
()

Используй сетевые ресурсы клиентов. Короче говоря - пусть они качают себе всё, а ты будешь только предоставлять скрипт, который будет структурировать всё как надо.

Quasar ★★★★★
()
Ответ на: комментарий от Quasar

Используй сетевые ресурсы клиентов. Короче говоря - пусть они качают себе всё, а ты будешь только предоставлять скрипт, который будет структурировать всё как надо.

Совсем так просто не получится, чисто на клиенте все не сделать, нужно аггрегировать, считать кое какую статистику. Переписать задачу парсинг распределенно,так, чтобы каждый клиент делал свою часть работы можно, но не уверен, что овчинка стоит выделки.

учитывая, что цель - коммерческая, то намного проще потратить деньги на нормальные стабильные соксы

Ну в общем да. Я бы не назвал ее коммерческой, но раз люди готовы заплатить за сервис, пусть получат качество.

Пока между cp.inferno.name и buy.fineproxy.org склоняюсь к последним. цена привлекательнее.

hi_artem
() автор топика
Ответ на: комментарий от hi_artem

Пока между cp.inferno.name и buy.fineproxy.org склоняюсь к последним. цена привлекательнее.

не очень корректно их сравнивать:
у инферно сокс боты для мега секьюрных целей типа гемблинга, парсинга трудных ресурсов типа гугла (хотя дорого для парсинга гугла) и всяких черных дел, у файнпрокси - для парсинга/постинга/етц.

серьезно, обратись к саппорту - они вроде вменяемые и дадут бесплатно на тест.
купон выше я дал - можешь юзать, они всем своим клиентам их шлют постоянно, мне не нужен.

оффтоп: это не тот «небольшой проектик на друпале» из твоего предыдущего треда?

xtraeft ★★☆☆
()
Последнее исправление: xtraeft (всего исправлений: 1)
Ответ на: комментарий от xtraeft

купон выше я дал - можешь юзать

Ага. Спасибо. если успею сегодня, то заюзаю.

оффтоп: это не тот «небольшой проектик на друпале» из твоего предыдущего треда?

Нет. тот проект все еще в стадии разработки, во первых из за того, что пока я drupal api изучал, во вторых, что время на него мало выделяю. А привлечь еще разработчиков на друпале без гарантированной оплаты их бесценного труда я не смог. Хотя сам все равно все доделаю и запущу.

hi_artem
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.