LINUX.ORG.RU

Wget2

 ,


2

1

Вышла бета-версия wget2 — переписанной с нуля качалки-«паука» wget.

Главные отличия:

  • Поддерживается HTTP2.
  • Функционал вынесли в библиотеку libwget (LGPL3+). Интерфейс ещё не стабилизировали.
  • Многопоточность.
  • Ускорение за счёт сжатия HTTP и HTTP2, параллельных соединений и If-Modified-Since в заголовке HTTP.
  • Плагины.
  • FTP не поддерживается.

Судя по мануалу, интерфейс командной строки поддерживает все ключи последней версии Wget 1 (кроме FTP) и добавляет много новых, главным образом, связанных с новыми методами аутентификации и HTTP2.

И вторая ложка дёгтя помимо FTP: к разработке причастен один из идейных противников компрессора XZ. Все архивы выкладываются как tar.gz или tar.lz.

>>> Объявление в рассылке info-gnu

★★★★★

Проверено: Shaman007 ()

Ответ на: комментарий от praseodim

Риски что где-то чего-то не так пойдет с именами отличными от ascii есть у всех протоколов

Это чё за аргумент такой, лол? «Молодой человек, риск умереть есть у всех, потому вы с открытым переломом подождёте?»

anonymous ()
Ответ на: комментарий от LamerOk

Да не вопрос, они могут вообще не делать wget2. Но пусть тогда не позиционируют wget2 как замену wget, так как замена-то не полноценная получается. И не надо людям по ушам ездить, что это не wget2 кастрированный, а что за них решили, что им ftp не нужен.

praseodim ★★★★ ()
Ответ на: комментарий от LamerOk

поехавший

Ясно, приятно было поговорить. Надеюсь, еще через 15 лет wget (или это уже будет wget6, где выкинут работу с http) запилят себе работу через сокс.

anonymous ()
Ответ на: комментарий от anonymous

Это чё за аргумент такой

Когда из двух протоколов выбирают тот, где шансов обосраться с корректной передачей даных меньше, то это называется «технический аргумент».

LamerOk ★★★★★ ()
Ответ на: комментарий от anonymous

Это нормальный аргумент. Если хочешь минимизировать риск какого-нибудь факапа в самый неподходящий момент не называй файлы именами, отличными от ascii и не допускай в них пробелы. Хотя как тест на вшивость для какой-нибудь программы как раз наоборот.

praseodim ★★★★ ()
Последнее исправление: praseodim (всего исправлений: 1)
Ответ на: комментарий от praseodim

Но пусть тогда не позиционируют

Ты опять пропустил приём таблеток и вступил в дискуссию с воображаемым оппонентом?

Тебе никто ничего не «позиционирует». Чуваки написали новую программу, объяснили, чем она отличается от предыдущей. Хочешь - пользуйся, хочешь - пользуйся старой, хочешь - не пользуйся никакой. Только не ной как побитая шлюха о том, как было при сталине.

LamerOk ★★★★★ ()
Ответ на: комментарий от LamerOk

А потом внезапно обнаружить, что в дистре есть только wget2 и нет wget. Особенно в liveCD. Или что ftp из браузеров удален и т.д. и чтобы им воспользоваться надо откапывать что-то древнее.

И вообще, под это не надо ныть и мужики просто написали программу, не хочешь не пользуйся, уже много чего сомнительного пролезло в линукс. Например, systemd и даже не столько systemd, сколько приколачивание к нему гвоздями других программ.

praseodim ★★★★ ()
Последнее исправление: praseodim (всего исправлений: 3)
Ответ на: комментарий от praseodim

Насколько я знаю, ftp не позволяет мне переименовать все файлы в интернете, названные вендохомячками. Потому в винтересе пользователя использовать наименее проблемный протокол.

anonymous ()
Ответ на: комментарий от anonymous

Я о том, что вообще называние файлов не в ascii чревато проблемами.

Вообще говоря, нечасто с тех пор как повсеместно локаль в никсах стала utf-8, но например, если под виндой упаковать файлы в zip, могут быть проблемы с распаковкой и наоборот.

praseodim ★★★★ ()
Ответ на: комментарий от anonymous

По-моему, в обсуждаемом случае протокол просто не может передать корректные имена файлов

Нет. В случае с FTP в протоколе просто физически нет информации о кодировке символов. В случае с HTTP - есть возможность согласовать кодировку, которой пользуются чуть более чем почти все реализации, кроме совсем уж упоротых.

LamerOk ★★★★★ ()
Ответ на: комментарий от praseodim

выше уже сказали совершенно верно - если вам чего-то не хватает, то напишите сами или багрепорт отправьте. Очевидно, что если выпиливают, то есть на это причины. Лично я фтп последний раз в жизни пользовался лет 5 назад. А уж тем более через вгет, который подразумевает автоматизацию.

anonymous ()

Еще хотел спросить, зачем нужен wget, если есть aria2, но потом пошел читать маны и увидел что ария тоже не умеет в соксы. Этот мир совсем поехал?

anonymous ()
Ответ на: комментарий от monk

Команда ls есть

И? Ты уже нафантазировал себе, что это команда получения списка файлов? Как бы нет. Команда в ответ высирает неспецифицированный поток байт из которого ты должен либастралом догадаться, где имя файла, где его размер, где дата, а где права доступа.

LamerOk ★★★★★ ()
Ответ на: комментарий от monk

lftp как-то умеет, но, по ходу, через костыли:

$ lftp https://mirrors.edge.kernel.org/pub/
cd ok, каталог=/pub                                                                     
lftp mirrors.edge.kernel.org:/pub> ls
drwxr-xr-x  --  ..                                           
drwxr-xr-x            -  2011-12-01 19:56  dist
drwxr-xr-x            -  2014-11-11 21:50  linux
drwxr-xr-x            -  2008-09-23 23:35  media
drwxr-xr-x            -  2018-07-24 17:25  scm
drwxr-xr-x            -  2019-09-07 22:10  site
drwxr-xr-x            -  2011-11-27 17:31  software
drwxr-xr-x            -  2008-04-30 22:31  tools
lftp mirrors.edge.kernel.org:/pub> cd dist
lftp mirrors.edge.kernel.org:/pub/dist> ls
drwxr-xr-x  --  ..                                           
drwxr-xr-x            -  2010-02-12 13:47  knoppix
drwxr-xr-x            -  2010-02-12 13:46  knoppix-dvd
drwxr-xr-x            -  2003-11-13 00:42  planb
drwxr-xr-x            -  2001-05-11 04:06  superrescue
lftp mirrors.edge.kernel.org:/pub/dist> cd superrescue/
lftp mirrors.edge.kernel.org:/pub/dist/superrescue> ls
drwxr-xr-x  --  ..                                           
drwxr-xr-x            -  2003-03-20 23:51  v1
drwxr-xr-x            -  2003-03-20 23:56  v2
-rw-r--r--         1033  2017-05-11 17:58  sha256sums.asc
lftp mirrors.edge.kernel.org:/pub/dist/superrescue>

saahriktu ★★★★★ ()
Ответ на: комментарий от anonymous

человеческие ftp плохо работают за натом

Модуль ip_nat_ftp работает прекрасно уже много лет.

и не обеспечивают вообще никакой безопасности

HTTP тоже. А FTP/SSL тоже существует много лет.

monk ★★★★★ ()
Ответ на: комментарий от LamerOk

Или переключиться на HTTP.

Ну мы ж тут протокол обсуждаем. Вот я у протокола две проблемы вижу — транспортный уровень и сериализация комманд. В остальном вполне себе ок.

kirk_johnson ★★ ()
Последнее исправление: kirk_johnson (всего исправлений: 1)
Ответ на: комментарий от LamerOk

И? Ты уже нафантазировал себе, что это команда получения списка файлов? Как бы нет. Команда в ответ высирает неспецифицированный поток байт из которого ты должен либастралом догадаться, где имя файла, где его размер, где дата, а где права доступа.

Вот цитата из RFC 959

NAME LIST (NLST)

            This command causes a directory listing to be sent from
            server to user site.  The pathname should specify a
            directory or other system-specific file group descriptor; a
            null argument implies the current directory.  The server
            will return a stream of names of files and no other
            information.  The data will be transferred in ASCII or
            EBCDIC type over the data connection as valid pathname
            strings separated by <CRLF> or <NL>.  (Again the user must
            ensure that the TYPE is correct.)  This command is intended
            to return information that can be used by a program to
            further process the files automatically.  For example, in
            the implementation of a "multiple get" function.
monk ★★★★★ ()
Ответ на: комментарий от saahriktu

curl supports FTP, FTPS, Gopher, HTTP, HTTPS, SCP, SFTP, TFTP, TELNET, DICT, LDAP, LDAPS, FILE, POP3, IMAP, SMB/CIFS, SMTP, RTMP and RTSP. Wget only supports HTTP, HTTPS and FTP.

Шах и мат: соснул твой wget - даже в гофер не умеет.

anonymous ()
Ответ на: комментарий от LamerOk

Команда в ответ высирает неспецифицированный поток байт из которого ты должен либастралом догадаться, где имя файла, где его размер, где дата, а где права доступа.

RFC 959:

NAME LIST (NLST)

            This command causes a directory listing to be sent from
            server to user site.  The pathname should specify a
            directory or other system-specific file group descriptor; a
            null argument implies the current directory.  The server
            will return a stream of names of files and no other
            information.

В работе:

$ ftp speedtest.tele2.net 
Connected to speedtest.tele2.net.
220 (vsFTPd 3.0.3)
Name (speedtest.tele2.net:username): anonymous
331 Please specify the password.
Password:
230 Login successful.
Remote system type is UNIX.
Using binary mode to transfer files.
ftp> nlist
200 PORT command successful. Consider using PASV.
150 Here comes the directory listing.
1000GB.zip
100GB.zip
100KB.zip
100MB.zip
10GB.zip
10MB.zip
1GB.zip
1KB.zip
1MB.zip
200MB.zip
20MB.zip
2MB.zip
3MB.zip
500MB.zip
50MB.zip
512KB.zip
5MB.zip
upload
226 Directory send OK.
ftp>

Miguel ★★★★★ ()