LINUX.ORG.RU

wget и потребление ресурсов

 


0

2

Приветствую.

Можно ли как-то сделать так, чтобы wget потреблял меньше ресурсов во время своей работы? Описывал сложившуюся ситуацию тут. Если вкратце: мне необходимо выкачать весь сайт целиком, однако после некоторого промежутка времени система просто убивает процесс wget'а. В той же теме приведены логи.

Буду также признателен за любую другую более удобную в этом плане утилиту, если решить обозначенную проблему не преставляется возможным.

inb4: смени железо, запускай на другом компьютере

Заранее благодарю за возможные ответы.

inb4: смени железо, запускай на другом компьютере

Не поможет. Это гнусное поделие сожрет и 64 Гб ОЗУ при наличии, и насрет в своп. Ищи альтернативу, потыкай aria2c.

anonymous ()

curl пробовал в составе какого нибудь скрипта?

rezedent12 ☆☆☆ ()
Ответ на: комментарий от rezedent12

Нет. Можете посоветовать какой-нибудь скрипт для выкачивания всего сайта целиком при помощи curl?

b0r3d0m ()
Ответ на: комментарий от anonymous

Жесть. Неужели никого это не напрягает и до сих пор не существует форка wget, в котором нет этой проблемы?

b0r3d0m ()
Ответ на: комментарий от antares0

Да, я пытался им воспользоваться. Так и не получилось при помощи него скачать basecamp.

b0r3d0m ()
Ответ на: комментарий от b0r3d0m

Нет. Можете посоветовать какой-нибудь скрипт для выкачивания всего сайта целиком при помощи curl?

Для выкачивания целого сайта, нет. Хотя наверняка это возможно написать на bash, но мой уровень скрипт-фу не достаточен для этого.

webhttrack попробуй.

rezedent12 ☆☆☆ ()
Ответ на: комментарий от b0r3d0m

Так и не получилось при помощи него скачать basecamp.

А в чем затык? Может bascamp активно сопротивляется?

antares0 ★★★ ()

Странно выкачал далеко не один сайт в свое время, c wget проблем небыло никогда. Разве что только с кодировками. Но iconv решает.

anonymous_sama ★★★★★ ()
Ответ на: комментарий от antares0

Не знаю. Запустил, указал данные от своего аккаунта и «стартовую» страницу — получил в ответ ошибку (текст уже не помню, но тыкался я довольно долго).

b0r3d0m ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.