LINUX.ORG.RU

Скрапинг сложного веб ресурса

 , ,


1

2

Добрый день.

Не знаю на сколкьо законно создавать такие тамы тут, но я попробую.

Есть сайт https://www.triptogether.com

Есть список людей. При нажатии на аватарку появляется больше инфы.

http://i11.pixs.ru/storage/5/4/9/ScreenShot_7358063_22651549.png

http://i11.pixs.ru/storage/5/5/2/ScreenShot_6103743_22651552.png

Надо соскрапить всех этих людей и инфу о них. Соскрапить один раз (хотя конечно если возможно написать скрипт чтоб автоматизированно было)

Сайт довольно сложный (по моим меркам), все динамическое.

Соскрапить пользователей то еще можно (длянный html с понятной ращметкой что где есть). А вот что к каждому зайти и взять оттуда инфу - это я не понимаю как.

Вопрос: Какие инструменты и методики можете подсказать?

Подсмотреть запрос в браузере (f12 network) и вызывать его самому.

anonymous ()
Ответ на: комментарий от xtraeft
https://api.triptogether.com/users?filter=photos&omit=0&points=%5BCA%2CMX%2CUS%5D&select=20&sort=7
https://api.triptogether.com/users?filter=photos&omit=20&points=%5BCA%2CMX%2CUS%5D&select=20&sort=7

Это получать ид юзеров, где параметр omit является оффсетом видимо.

xtraeft ★★☆☆ ()
Ответ на: комментарий от xtraeft

ОГо! Спасибо! А ты где их апи нашел?? На сайте вроде нет

Closius ()
Ответ на: комментарий от Closius

Поснифал запросы браузера.

У меня Gateway Timeout по этим запросам

Все работает, проверил с нескольких серверов в разных странах.

# curl 'https://api.triptogether.com/users/129690531'
{
  "id": "129690531",
  "name": "Abegail",
  "gender": "fem",
  "birthday": "1992-07-15T07:00:00Z",
  "city": "Los Angeles",
  "occupation": "Model",
  "languages": [
    "en"
  ],
  "thumbnail": "0a9c76c227875f9d",
  "presence": 0,
  "about": " "

xtraeft ★★☆☆ ()
Последнее исправление: xtraeft (всего исправлений: 1)
Ответ на: комментарий от xtraeft

да у меня тоже сейчас заработало.

А как бы фотки найти?? Инфа то хорошая, но хотелось бы еще и фотки.

Всеарвно не понял где ты их апи откопал?? Как? )

Closius ()
Ответ на: комментарий от xtraeft

А понял) Нашел просто инстпек элемент в браузере)) Я просто думал ты гдето описание их апи нашел

Closius ()
Ответ на: комментарий от POLTER

Я смотрел) не обращал внимание да и не думал что все так просто)

Closius ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.