LINUX.ORG.RU
решено Форум — Web-development  

Существует ли такой робот-краулер-граббер-картинок или нужно писать самому?

 , ,


0

1

Задача у меня простая, есть сайт dribbble, там много нужных картинок есть, возможность поиска которых тоже есть и довольно простая в контексте url'а.

Например, если я ищу «linux», то url будет такой: 

https://dribbble.com/search?q=linux
это первая страница результатов, вторая же и последующие будут такие, например 3-я: 
https://dribbble.com/search?page=3&q=linux

Мне нужно, чтобы робот сохранил кажую картинку, для этого нужно перейти по ссылке на картинку и уже сохранять. Для некоторых из них есть типа HD версия, для этого нужно кликнуть на @2x возле даты над картинкой, либо же нажать с клавиатуры кнопку z .

Вопрос: существуют ли уже готовые решения для подобного граббинга картинок или нужно писать самому? Подскажите пожалуйста, спасибо.

★

Думаю можно настроить HTTrack так, что решит поставленную задачу, но такое не сложно и на Python самому написать.

HunOL ★★★★
()

различаются эти ссылки (картинки) только суффиксом
https://d13yacurqjgara.cloudfront.net/users/13157/screenshots/1770991/dark-th... - тумба
https://d13yacurqjgara.cloudfront.net/users/13157/screenshots/1770991/dark-th... - превью
https://d13yacurqjgara.cloudfront.net/users/13157/screenshots/1770991/dark-th... - фулсайз, соотв

собсна руки из жопы офф и моск он: 

$ GET https://dribbble.com/search?q=linux | \
grep '<img ' | grep -o -E 'https[^"]+/users/[0-9]+/screenshots/[^"]+' | \
sed 's/_teaser\././'

anTaRes ★★★★
()
Ответ на: комментарий от anTaRes

Спасибо большое, я как-то еще не копал в сами ссылки подробно, пока что подготавливал материал на этому тему, ну сейчас несложно мне на руби будет написать скрипт.

Спасибо.

slon ★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
Web-development