LINUX.ORG.RU

Парсинг LinkedIn

 , ,


0

2

Появилась необходимость парсить открытые профили в LinkedIn по определенному запросу в поиске, с целью чего был написан парсер. В общем-то все работает. Но выяснилась другая проблема. В поиске можно просмотреть только первые 1000 профилей, даже если нашлось их 10К. И непонятно, как получить остальные. Разбивать поиск на отдельный подпоиск(к примеру по городу, компании и т.д) как мне кажется не слишком разумно, ибо критерии разбиения сильно разнятся в зависимости от поискового запроса. Может кто сталкивался с такой задачей и ее успешно как-то решил?(Не обязательно именно для LinkedIn, а в целом, мб для других соцсетей).

Ответ на: комментарий от PPP328

полагаю в паи будет такое-же ограничение (кстати вконтакте такая же проблема), как и например нельзя загрузить больше (кажется, 800) своих фотографий из Инстаграмм и так далее, то-есть современные реалии. так что увы и ха, прийдется воспользоваться уточнением условий да и то не гарантирует что все профили можно будет вытащить (А вообще думаю тысячи вполне достаточно ну)

anonymous
()

Разбивать поиск на отдельный подпоиск(к примеру по городу, компании и т.д)

ну так разбивай по алфавиту, например, firstName.startsWith и все такое. или по другому признаку с более равномерным распределением.

anonymous
()
Ответ на: комментарий от anonymous

Я еще не видел ни одного случая, когда кто-то парсит сайт с социальными профилями для благих целей - только спам, только рассылка, только продажа базы.

PPP328 ★★★★★
()
Ответ на: комментарий от PPP328

я парсил hh когда искал верстальщика, удобнее чем ручками поиск ковырять)) хотя тащемто да, таже «расслыка» только я обзванивал

genryRar ★★
()
Ответ на: комментарий от Jopich1

Зато полезный — я на нём таки нашёл работу для свала.

Miguel ★★★★★
()
Ответ на: комментарий от PPP328

Проблема в том, что это позволяет просмотреть только страницы тех, чьи id тебе известны. Мне же наоборот нужно узнать id по поиску.

crarkie
() автор топика
Ответ на: комментарий от PPP328

Ну во-первых нефиг рекламировать запрещенный в россии сайт

Во-первых, нефиг запрещать сайты.

ugoday ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.