LINUX.ORG.RU

curl несколько потоков

 


0

1

Добрый день!

У меня есть скрипт, который берет порядка 120 ссылок из файла и делает в цикле

curl $link | grep | sed | и.т.п.

Хотелось бы оптимизировать его немного - загружать ссылки не по порядку, а все разом. Если я добавлю & в конце строки с curl, то как мне отследить, что curl отработал и загрузил все ссылки и уже можно продолжать дальнейшее выполнение скрипта?

Как это сделать правильнее и красивее?

Спасибо!

★★

напиши Makefile и запускай make -j $N

maloi ★★★★★ ()

как мне отследить, что curl отработал и загрузил все ссылки и уже можно продолжать дальнейшее выполнение скрипта?

флаг проверять

lazyklimm ★★★★★ ()
Ответ на: комментарий от megabaks

Спасибо. Жаль только в sid доступно. Но попробую воткнуть

swarnk ★★ ()

grep | sed | и.т.п.
Хотелось бы оптимизировать его немного

без чтения манов не взлетит, я щитаю

zolden ★★★★★ ()

Тут только костылями, в пределах моих знаний.
Я бы сделал что-то по типу:


function curl_go() {
    curl $host_url.....
    ....
    count_done=$(($count_done + 1))
}

После чего ждал бы пока $count_done не достиг бы количества ссылок, что у меня есть

Spirit_of_Stallman ★★★ ()

Если я добавлю & в конце строки с curl, то как мне отследить, что curl отработал и загрузил все ссылки и уже можно продолжать дальнейшее выполнение скрипта?

Внезапно, подождать, т.е. wait. :)

curl ... &
curl ... &
curl ... &
wait

anonymous ()
Ответ на: комментарий от anonymous

Вот этот вариант, на мой взгляд, самый подходящий. Спасибо!

swarnk ★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.