LINUX.ORG.RU

Парсинг LinkedIn

 , , ,


0

2

Появилась необходимость парсить открытые профили в LinkedIn по определенному запросу в поиске, с целью чего был написан парсер. В общем-то все работает. Но выяснилась другая проблема. В поиске можно просмотреть только первые 1000 профилей, даже если нашлось их 10К. И непонятно, как получить остальные. Разбивать поиск на отдельный подпоиск(к примеру по городу, компании и т.д) как мне кажется не слишком разумно, ибо критерии разбиения сильно разнятся в зависимости от поискового запроса. Может кто сталкивался с такой задачей и ее успешно как-то решил?(Не обязательно именно для LinkedIn, а в целом, мб для других соцсетей).

Ответ на: комментарий от PPP328

полагаю в паи будет такое-же ограничение (кстати вконтакте такая же проблема), как и например нельзя загрузить больше (кажется, 800) своих фотографий из Инстаграмм и так далее, то-есть современные реалии. так что увы и ха, прийдется воспользоваться уточнением условий да и то не гарантирует что все профили можно будет вытащить (А вообще думаю тысячи вполне достаточно ну)

anonymous ()

Разбивать поиск на отдельный подпоиск(к примеру по городу, компании и т.д)

ну так разбивай по алфавиту, например, firstName.startsWith и все такое. или по другому признаку с более равномерным распределением.

anonymous ()
Ответ на: комментарий от anonymous

Я еще не видел ни одного случая, когда кто-то парсит сайт с социальными профилями для благих целей - только спам, только рассылка, только продажа базы.

PPP328 ()