LINUX.ORG.RU

Wget2

 ,


2

1

Вышла бета-версия wget2 — переписанной с нуля качалки-«паука» wget.

Главные отличия:

  • Поддерживается HTTP2.
  • Функционал вынесли в библиотеку libwget (LGPL3+). Интерфейс ещё не стабилизировали.
  • Многопоточность.
  • Ускорение за счёт сжатия HTTP и HTTP2, параллельных соединений и If-Modified-Since в заголовке HTTP.
  • Плагины.
  • FTP не поддерживается.

Судя по мануалу, интерфейс командной строки поддерживает все ключи последней версии Wget 1 (кроме FTP) и добавляет много новых, главным образом, связанных с новыми методами аутентификации и HTTP2.

И вторая ложка дёгтя помимо FTP: к разработке причастен один из идейных противников компрессора XZ. Все архивы выкладываются как tar.gz или tar.lz.

>>> Объявление в рассылке info-gnu

★★★★★

Проверено: Shaman007 ()

Ответ на: комментарий от Miguel

Не надо делать полный брутфорс. Надо просто сделать CWD.

К каждому объекту в списке. Да, конечно, это же вовсе не брутфорс, это просто так надо потому что.. потому что? Ах, да. Потому что в протоколе нет разницы между файлом и не файлом.

И да, «узлы файловой директории» теперь модно называть «файлы».

Не фантазируй. Никогда такого не было, и вот опять не стало.

Снова враньё.

Кончай вилять, и давай формальную спецификацию выхлопа, по которому клиент может построить список объектов, которые он может с'get'ить, считая любую ошибку в процессе ошибкой протокола нижнего уровня.

Вариант «перетыкать все» - это не вариант, это говно говна больного сифозного и спидозного наркомана, а не описание сетевого протокола в 2К19.

LamerOk ★★★★★ ()
Ответ на: комментарий от anonymous

FTPS — редкость во все времена. Раньше над шифрованием никто не запаривался, а потом FTP просто утратил актуальность.

Аргумент Владика про скачивание папок — глупость несутветная, кучу маленьких файлов проще скачать архивом, а качать без сжатия большие — безумие.

WitcherGeralt ★★ ()
Последнее исправление: WitcherGeralt (всего исправлений: 1)
Ответ на: комментарий от WitcherGeralt

Аргумент Владика про скачивание папок — глупость несутветная, кучу маленьких файлов проще скачать архивом, а качать без сжатия большие — безумие.

Как вы будете скачивать файлы архивом? Кто его должен генерировать, какой-то скрипт на сервере? Предполагается какой-то движок для раздачи файлов?

Файлы и так сжаты, текстовых практически никаких нет.

ValdikSS ★★★★★ ()
Ответ на: комментарий от WitcherGeralt

Аргумент Владика про скачивание папок — глупость несутветная, кучу маленьких файлов проще скачать архивом, а качать без сжатия большие — безумие.

Синк зеркал пакетов. Скоррсть там неважна особо, за пару часов в любом случае управишься.

kirk_johnson ★★ ()
Ответ на: комментарий от LamerOk

давай формальную спецификацию выхлопа, по которому клиент может построить список объектов, которые он может с'get'ить

Как я уже сказал, твои хотелки никого не волнуют.

это говно говна больного сифозного и спидозного наркомана

Как и твои фантазии.

Miguel ★★★★★ ()
Ответ на: комментарий от kirk_johnson

Спасибо, чувак, я как бы в курсе.

В этом ITT-треде я объясняю школьникам, что такое «настоящий FTP» , и зачем, собственно, потребовались эти расширения спустя 20 лет.

LamerOk ★★★★★ ()
Ответ на: комментарий от ValdikSS

ValdikSS
анонимно

О, хайп на трендах пошел. ftp более анонимен, чем http, видимо :)

P.S. Мы вообще ушли в дебри. Тред про wget, и речь вообще не о том, что из протоколов лучше, а о том, что wget - устаревший спайдер поверх устаревшей библиотеки (и судя по беглому чтению доков - которой отдельно от него не было).

Бампнули версию тем, что курл умел 10-15 лет назад.

anonymous ()
Ответ на: комментарий от ValdikSS

Кто его должен генерировать, какой-то скрипт на сервере?

Хоть ручки администратора ресурса хоть скрипт, без разницы. В чём проблема? Хоть полноценный файломенеджер можно прикрутить, готовых решений навалом.

WitcherGeralt ★★ ()
Ответ на: комментарий от WitcherGeralt

Аргумент Владика про скачивание папок — глупость несутветная, кучу маленьких файлов проще скачать архивом, а качать без сжатия большие — безумие.

Я сначала тоже удивился, ведь уважительно к нему отношусь, но потом он напомнил о своей целевой аудитории. Хотя выложил бы он архив, юзеры бы осилили. Ну это я так думаю, ему виднее.

anonymous ()
Ответ на: комментарий от anonymous

Анонимно = не требуется вход под каким-то пользователем. В FTP понятие «анонимный пользователь» стандартизировано, пользователь называется anonymous, а пароль — любой. HTTP тоже поддерживает анонимную загрузку, конечно, но, например, SFTP — нет.

Я надеялся получить какие-то рекомендации, потому что я раз в ~2 года ищу, не появился ли новый протокол, на который можно перейти, и не нахожу такового. Вероятный кандидат — Webdav, но пока не знаю, насколько хорошо он работает.

ValdikSS ★★★★★ ()
Ответ на: комментарий от kirk_johnson

Может и круто, но эта альтернатива точно не wget.

без длинного хвоста курловых CVE.

Ага, опять распылить усилия на 100500 либрекурлов, вместо того чтоб слать патчи-коммиты.

anonymous ()
Ответ на: комментарий от anonymous

Архив чего? У нас какое-то недопонимание.

Не имеет значения, маленькие файлы или большие. FTP позволяет вам скачать как музыкальный альбом в MP3 целиком (несколько маленьких файлов), так и сразу несколько образов дисков (многогигабайтные архивы).

Вы что, файлов ни разу не скачивали, что ли?

ValdikSS ★★★★★ ()
Ответ на: комментарий от ValdikSS

Я надеялся получить какие-то рекомендации

Гитхаб + мастер.зип; торрент; архив на своем хосте - что угодно.

Если бы сейчас мне кто-то сказал, что надо качать файлы по фтп - я бы скорее всего не стал.

anonymous ()
Ответ на: комментарий от ValdikSS

Вы что, файлов ни разу не скачивали, что ли?

Поштучно с фтп - последний раз году в 2004, когда утек альбом продиджи. Сейчас даже не знаю, зачем это нужно. Приведи конкретный юзкейс?

anonymous ()
Ответ на: комментарий от kirk_johnson

Синк зеркал пакетов.
https://www.debian.org/mirror/ftpmirror

Как зеркалировать Рекомендуемым методом зеркалирования является набор сценариев ftpsync, который доступен в двух видах:

tar-архив https://ftp-master.debian.org/ftpsync.tar.gz из git-репозитория: git clone https://salsa.debian.org/mirror-team/archvsync.git (см. https://salsa.debian.org/mirror-team/archvsync/) В качестве протокола зеркалирования мы настоятельно рекомендуем использовать rsync.

anonymous ()
Ответ на: комментарий от WitcherGeralt

Ну какие пользователи. Это не отменяет того, что он разумный человек.

С другой стороны возьми макскома, который 10+ лет топил за свой лоркод, и до сих пор его не выпилил.

anonymous ()
Ответ на: комментарий от anonymous

С точки зрения раздающего:
Я храню файлы на диске в их оригинальном формате. Музыка — в виде аудиофайлов, видео — в виде видеофайлов, прошивки — в формате прошивок. Я слушаю эту музыку, смотрю видео и использую прошивки по прямому назначению. Мне не нужны архивы файлов на диске, я бы не смог слушать музыку и смотреть фильмы из них, мне приходилось бы каждый раз их разархивировать.

Я не выкладываю эти файлы для какой-то намеренной раздачи, они просто лежат у меня на диске, а FTP-сервер даёт к ним доступ любому желающему. В случае bittorrent-раздачи, мне бы пришлось создавать torrent при каждом обновлении файлов, распространять его как-то, а с FTP мне не нужно делать никаких дополнительных действий — я просто скачал файл браузером или как-то ещё, а он просто стал доступен через FTP.

С точки зрения посетителя FTP-сервера:
Посетитель видит список всех моих файлов, может скачивать отдельные файлы или отдельные папки. Хочется скачать ему музыкальный альбом — он качает всю папку альбома. Хочется скачать все прошивки — он скачивает всю папку с прошивками целиком. Хочется скачать только 10 фильмов из коллекции — он выделяет 10 фильмов и ставит на закачку

Ему не нужно скачивать каждый файл по-отдельности, как это было бы через HTTP, и не нужно писать сложные правила рекурсивного скачивания для исключения (или включения) части файлов, как это было бы с программами типа wget.

Предлагаю закончить дискуссию, я объясняю очевидные вещи.

ValdikSS ★★★★★ ()
Последнее исправление: ValdikSS (всего исправлений: 1)
Ответ на: комментарий от ValdikSS

Предлагаю закончить дискуссию, я объясняю очевидные вещи.

Очевидные для твоей целевой аудитории, видимо. Саахарикту тоже топит за кои8 и гофер, но это же какая-то дичь?

Я не выкладываю эти файлы для какой-то намеренной раздачи, они просто лежат у меня на диске, а FTP-сервер даёт к ним доступ любому желающему. В случае bittorrent-раздачи, мне бы пришлось создавать torrent при каждом обновлении файлов, распространять его как-то, а с FTP мне не нужно делать никаких дополнительных действий — я просто скачал файл браузером или как-то ещё, а он просто стал доступен через FTP.

Ладно, сидите в своих 90-х, а мы будем юзать торренты, битсинк и все что сейчас удобно и популярно юзать.

Мое мнение о тебе изменилось (хотя кого это волнует), ты еще наверное и на 4pda ЗВЕРЬКОВ обсуждаешь.

anonymous ()
Ответ на: комментарий от anonymous

а мы будем юзать торренты

Речь о совсем других типах данных, не об архивах, а о файлах, которые постоянно добавляются или удаляются. Торрент не позволяет работать с такими данными, необходимо при каждом обновлении перегенерировать торрент-файл и где-то распространять его. Повторяю: у меня не архивные данные, а постоянно что-то добавляется и удаляется, и никому не нужно качать всё целиком.

битсинк

Синхронизация ни файлов, ни папок не требуется никому из участников процесса. Обновлений файлов не бывает, только удаление или добавление новых, и новые файлы автоматически скачивать не требуется, как и не требуется удалять у скачавших пользователей файлы, удалённые у меня.

ValdikSS ★★★★★ ()
Последнее исправление: ValdikSS (всего исправлений: 1)
Ответ на: комментарий от anonymous

Очевидные для твоей целевой аудитории, видимо.

У меня нет целевой аудитории. У меня только нецелевая аудитория из неопределенного круга лиц, случайные люди, которые как-то попали на этот сервер. Это просто файловый сервер, на котором я храню файлы, которые считаю важными для сохранения, с надеждой, что кому-то они могут понадобится тоже, и я не делаю что-либо дополнительно для доступности файлов, создания раздач, и т.п. Они раздаются не только через FTP, но еще и через eDonkey2000, Direct Connect и музыка через Soulseek. Прошивки автоматически скачиваются с серверов Huawei, потому что ссылки на них непубличны, и с серверов Huawei их периодически удаляют.

ValdikSS ★★★★★ ()
Последнее исправление: ValdikSS (всего исправлений: 3)

надо будет потыкать палочкой на досуге. вроде тот, кто этот код написал, далеко не первый год программирует. наверное, у него были причины это делать. а тип архива неважен, пока это опенсорцный формат. это мелочи и вкусовщина. по моим наблюдениям, большинство софта в сорцах поставляется в tar.gz или tar.bz2. но это не принципиально.

Iron_Bug ★★★★ ()
Ответ на: комментарий от Iron_Bug

Я правда не понимаю как можно вгетом для скачивания сайтов пользоваться. Для этого есть httrack. Для всего остального есть curl. И комбайн aria2 для торрентов.

anonymous ()
Ответ на: комментарий от anonymous

кому нахрен упало «скачивание сайтов»? скачивают в основном сорцы. это отдельные файлы. и часто они на FTP-шниках выложены. curl хорош для тестирования протоколов и работы серверов, но не более. и да, он очень тормозной.

Iron_Bug ★★★★ ()
Последнее исправление: Iron_Bug (всего исправлений: 1)
Ответ на: комментарий от Iron_Bug

Только curl поддерживает сжатие, http2 и любые прокси. Удобен для заливки файлов и передачи произвольных заголовков, аутентификации и менеджмента кук. Выбор номер 1 для скриптов.

А wget это комбайн для скачивания сайтов, не самый удобный — мне ни разу не удалось скачать нормальную локальную копию им, даже несмотря на то, что я основательно копался в ключах и интернете для этого. Использую для скачивания 1 файла только потому что wget проще набрать и он дефолтом сохраняет в файл с таким же именем локально. Но чтобы нормально скачать файл его надо обмазать неочевидными ключами. И по-моему он сохраняет query часть в имени файла. Это конечно хорошо, только там вполне может оказаться и rm -rf.

anonymous ()
Ответ на: комментарий от WitcherGeralt

невозможно создать ничего плохого

Да. Не бывает плохих стандартов, бывают неподходящие для тех или иных задач инструменты.

По твоей же логике, всё новое тоже хорошее, и, очевидно, даже лучше старого, иначе бы его не создавали, лол.

Не лучше, но и не хуже, да. Само по себе. И от появления нового старое не становится внезапно хуже. Поэтому для отдельных людей нет никакого смысла прыгать по стандартам.

saahriktu ★★★★★ ()
Ответ на: комментарий от anonymous

Выбор номер 1 для скриптов.

смотря что тебе надо. для проверки работы каких-нибудь сертификатов на серверах я использую curl. но для скачивания сорцов за глаза хватает wget. мне не нужен никакой менеджмент кук в 99.99% случаев. даже, наверное, больше. за всю жизнь пару раз эти куки были нужны - и то в коде я с ними работала, а не в командной строке curl'а. это очень большая редкость при работе в сети. а вот при сборке системы у меня качаются тысячами разные сорцы с гнутых и не очень сайтов - и там wget прекрасно справляется. в остальном я практически ничего и не скачиваю, не считая торрентов. но торрентов я качаю, наверное, всё же меньше, чем сорцов.

Iron_Bug ★★★★ ()
Последнее исправление: Iron_Bug (всего исправлений: 2)