LINUX.ORG.RU

GENTOO multiple fetch package

 , , ,


0

1

вот набрал я

emerge -f world
и что происходит?

  • 1) получаем нс запись
  • 2) отправляем запрос серверу
  • 3) начинаем качать
  • 4) сохраняем файл
  • 5) проверяем хэш
  • 6) начинаем по новой(!!!11)

в итоге те кто разжились 254 ядерными машинами компилять будут быстрее чем качать.
да даже я со своими 4 ядрами потрачу 30% времени на закачку файлов

как поправить? или emerge устарелое говно?

Во-первых, в портейдже уже давно включен parallel-fetch. Во-вторых, широкополосный доступ в интернет - давно уже реальность.

Lighting ★★★★★
()
Ответ на: комментарий от Lighting

пункты 1 и 2 выполняются дольше чем закачка и проверка хеша. и так будет у всех без кеширующего днс. parallel-fetch не работает при emerge -f

system-root ★★★★★
() автор топика
Ответ на: комментарий от system-root

пункты 1 и 2 выполняются дольше чем закачка и проверка хеша.

Купи себе домой магистральный канал и сотню SSD в рейдах.

devl547 ★★★★★
()

Кастую megabaks, дабы здесь появилось мнение о том, что вы не умеете готовить portage.

AlexCones ★★★
()
Ответ на: комментарий от system-root

Используйте вместо wget axel, с указанием скачивания в несколько потоков:

/etc/make.conf

FETCHCOMMAND="/usr/bin/axel -an 10 -o /\${DISTDIR}/\${FILE} \${URI}"
RESUMECOMMAND="/usr/bin/axel -an 10 -o /\${DISTDIR}/\${FILE} \${URI}"

В данном случае скачивание будет происходить в 10 потоков.

kostik87 ★★★★★
()
Ответ на: комментарий от kostik87

мне кажется это велосипед из далёких нулевых, когда файл отдавался на ограниченной скорости в одни руки.
проблема в том, что emerge не хочет всё делать одновременно, при скачивании 300-500 файлов тупняк тот ещё.
разве нельзя проверять хеш, качать другие файлы в несколько потоков?
axel не качает 10 файлов, он качает 1 файл в 10 потоков, для файла в 20кб это будет ещё дольше чем wget или fetch.
потому что пункты 1 и 2 будут выполнены 10 ещё раз.

system-root ★★★★★
() автор топика
Ответ на: комментарий от system-root

Пункт 2 будет выполняться 10 раз, но параллельно, так что на времени негативно не скажется, только положительно, а доменное имя резолвится только один раз перед установкой соединения.

Если считаете что это костыль - не делайте.

Я же на практике встречался, что сервер на одно подключение выделяет определённый канал, как правило много меньше скорости канала, с которой я могу скачивать, поэтому качая с помощью axel в несколько потоков файлы вы существенно сократите время скачивания.

kostik87 ★★★★★
()
Ответ на: комментарий от system-root

emerge -pvf
А потом список урлов можно скормить любой качалке.

imul ★★★★★
()

Тебя ждёт ещё много замечательных открытий.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.