LINUX.ORG.RU

Wget2

 ,


2

1

Вышла бета-версия wget2 — переписанной с нуля качалки-«паука» wget.

Главные отличия:

  • Поддерживается HTTP2.
  • Функционал вынесли в библиотеку libwget (LGPL3+). Интерфейс ещё не стабилизировали.
  • Многопоточность.
  • Ускорение за счёт сжатия HTTP и HTTP2, параллельных соединений и If-Modified-Since в заголовке HTTP.
  • Плагины.
  • FTP не поддерживается.

Судя по мануалу, интерфейс командной строки поддерживает все ключи последней версии Wget 1 (кроме FTP) и добавляет много новых, главным образом, связанных с новыми методами аутентификации и HTTP2.

И вторая ложка дёгтя помимо FTP: к разработке причастен один из идейных противников компрессора XZ. Все архивы выкладываются как tar.gz или tar.lz.

>>> Объявление в рассылке info-gnu

★★★★★

Проверено: Shaman007 ()
Последнее исправление: Shaman007 (всего исправлений: 1)

Ответ на: комментарий от LamerOk

И еще - вы так топите за пресловутый юниксвей, и одновременно топите за вгеты. Не знаю, как вам это удается.

anonymous
()
Ответ на: комментарий от praseodim

Риски что где-то чего-то не так пойдет с именами отличными от ascii есть у всех протоколов

Это чё за аргумент такой, лол? «Молодой человек, риск умереть есть у всех, потому вы с открытым переломом подождёте?»

anonymous
()
Ответ на: комментарий от LamerOk

Да не вопрос, они могут вообще не делать wget2. Но пусть тогда не позиционируют wget2 как замену wget, так как замена-то не полноценная получается. И не надо людям по ушам ездить, что это не wget2 кастрированный, а что за них решили, что им ftp не нужен.

praseodim ★★★★★
()
Ответ на: комментарий от LamerOk

поехавший

Ясно, приятно было поговорить. Надеюсь, еще через 15 лет wget (или это уже будет wget6, где выкинут работу с http) запилят себе работу через сокс.

anonymous
()
Ответ на: комментарий от anonymous

Это чё за аргумент такой

Когда из двух протоколов выбирают тот, где шансов обосраться с корректной передачей даных меньше, то это называется «технический аргумент».

LamerOk ★★★★★
()
Ответ на: комментарий от anonymous

Это нормальный аргумент. Если хочешь минимизировать риск какого-нибудь факапа в самый неподходящий момент не называй файлы именами, отличными от ascii и не допускай в них пробелы. Хотя как тест на вшивость для какой-нибудь программы как раз наоборот.

praseodim ★★★★★
()
Последнее исправление: praseodim (всего исправлений: 1)
Ответ на: комментарий от praseodim

Но пусть тогда не позиционируют

Ты опять пропустил приём таблеток и вступил в дискуссию с воображаемым оппонентом?

Тебе никто ничего не «позиционирует». Чуваки написали новую программу, объяснили, чем она отличается от предыдущей. Хочешь - пользуйся, хочешь - пользуйся старой, хочешь - не пользуйся никакой. Только не ной как побитая шлюха о том, как было при сталине.

LamerOk ★★★★★
()
Ответ на: комментарий от LamerOk

А потом внезапно обнаружить, что в дистре есть только wget2 и нет wget. Особенно в liveCD. Или что ftp из браузеров удален и т.д. и чтобы им воспользоваться надо откапывать что-то древнее.

И вообще, под это не надо ныть и мужики просто написали программу, не хочешь не пользуйся, уже много чего сомнительного пролезло в линукс. Например, systemd и даже не столько systemd, сколько приколачивание к нему гвоздями других программ.

praseodim ★★★★★
()
Последнее исправление: praseodim (всего исправлений: 3)
Ответ на: комментарий от praseodim

Насколько я знаю, ftp не позволяет мне переименовать все файлы в интернете, названные вендохомячками. Потому в винтересе пользователя использовать наименее проблемный протокол.

anonymous
()
Ответ на: комментарий от anonymous

Я о том, что вообще называние файлов не в ascii чревато проблемами.

Вообще говоря, нечасто с тех пор как повсеместно локаль в никсах стала utf-8, но например, если под виндой упаковать файлы в zip, могут быть проблемы с распаковкой и наоборот.

praseodim ★★★★★
()
Ответ на: комментарий от LamerOk

По-моему, в обсуждаемом случае протокол просто не может передать корректные имена файлов, а не в нём «меньше шансов обосраться».

anonymous
()
Ответ на: комментарий от anonymous

По ftp можно передать имена с кириллицей. Как минимум в случае utf-8 это даже штатно будет. Но и в сp1251 встречал.

praseodim ★★★★★
()
Ответ на: комментарий от XMs

question4, предлагаю вынести это в топик

Не могу, кастуй модератора.

question4 ★★★★★
() автор топика
Ответ на: комментарий от anonymous

По-моему, в обсуждаемом случае протокол просто не может передать корректные имена файлов

Нет. В случае с FTP в протоколе просто физически нет информации о кодировке символов. В случае с HTTP - есть возможность согласовать кодировку, которой пользуются чуть более чем почти все реализации, кроме совсем уж упоротых.

LamerOk ★★★★★
()
Ответ на: комментарий от praseodim

выше уже сказали совершенно верно - если вам чего-то не хватает, то напишите сами или багрепорт отправьте. Очевидно, что если выпиливают, то есть на это причины. Лично я фтп последний раз в жизни пользовался лет 5 назад. А уж тем более через вгет, который подразумевает автоматизацию.

anonymous
()
Ответ на: комментарий от LamerOk

любое отклонение от - как /dev/urandom ляжет.

Сколько пользуюсь Юникодом — проблем не было. Да, выборка нерепрезентативна.

question4 ★★★★★
() автор топика

Еще хотел спросить, зачем нужен wget, если есть aria2, но потом пошел читать маны и увидел что ария тоже не умеет в соксы. Этот мир совсем поехал?

anonymous
()
Ответ на: комментарий от Shaman007

FTP ущербен как протокол. Ты не очень грамотен. Дуб - дерево.

А как по HTTP получить список файлов? Или чем FTP заменять?

monk ★★★★★
()
Ответ на: комментарий от LamerOk

В случае с FTP в протоколе просто физически нет информации о кодировке символов.

Есть команда ntrans в клиенте. Вариантов не так уж много.

monk ★★★★★
()
Ответ на: комментарий от monk

А как по HTTP получить список файлов? Или чем FTP заменять?

С твоим подходом тебе как раз виндосамба нужна, гг.

anonymous
()
Ответ на: комментарий от LamerOk

Можно подумать, FTP гарантирует тебе получение списка файлов.

Команда ls есть. Если права есть, то гарантирует.

monk ★★★★★
()
Ответ на: комментарий от anonymous

С твоим подходом тебе как раз виндосамба нужна, гг.

Это тебе... ChromeOS. Если тебе нравится поштучно файлы в браузере щёлкать.

monk ★★★★★
()
Ответ на: комментарий от monk

Команда ls есть

И? Ты уже нафантазировал себе, что это команда получения списка файлов? Как бы нет. Команда в ответ высирает неспецифицированный поток байт из которого ты должен либастралом догадаться, где имя файла, где его размер, где дата, а где права доступа.

LamerOk ★★★★★
()
Ответ на: комментарий от monk

Если тебе нравится поштучно файлы в браузере щёлкать.

Зачем вообще качать файлы поштучно?

anonymous
()
Ответ на: комментарий от monk

lftp как-то умеет, но, по ходу, через костыли:

$ lftp https://mirrors.edge.kernel.org/pub/
cd ok, каталог=/pub                                                                     
lftp mirrors.edge.kernel.org:/pub> ls
drwxr-xr-x  --  ..                                           
drwxr-xr-x            -  2011-12-01 19:56  dist
drwxr-xr-x            -  2014-11-11 21:50  linux
drwxr-xr-x            -  2008-09-23 23:35  media
drwxr-xr-x            -  2018-07-24 17:25  scm
drwxr-xr-x            -  2019-09-07 22:10  site
drwxr-xr-x            -  2011-11-27 17:31  software
drwxr-xr-x            -  2008-04-30 22:31  tools
lftp mirrors.edge.kernel.org:/pub> cd dist
lftp mirrors.edge.kernel.org:/pub/dist> ls
drwxr-xr-x  --  ..                                           
drwxr-xr-x            -  2010-02-12 13:47  knoppix
drwxr-xr-x            -  2010-02-12 13:46  knoppix-dvd
drwxr-xr-x            -  2003-11-13 00:42  planb
drwxr-xr-x            -  2001-05-11 04:06  superrescue
lftp mirrors.edge.kernel.org:/pub/dist> cd superrescue/
lftp mirrors.edge.kernel.org:/pub/dist/superrescue> ls
drwxr-xr-x  --  ..                                           
drwxr-xr-x            -  2003-03-20 23:51  v1
drwxr-xr-x            -  2003-03-20 23:56  v2
-rw-r--r--         1033  2017-05-11 17:58  sha256sums.asc
lftp mirrors.edge.kernel.org:/pub/dist/superrescue>

saahriktu ★★★★★
()
Ответ на: комментарий от anonymous

человеческие ftp плохо работают за натом

Модуль ip_nat_ftp работает прекрасно уже много лет.

и не обеспечивают вообще никакой безопасности

HTTP тоже. А FTP/SSL тоже существует много лет.

monk ★★★★★
()
Ответ на: комментарий от WitcherGeralt

Он думает, что оно «простое» и «понятное ему».

LamerOk ★★★★★
()
Ответ на: комментарий от monk

Мельком посмотрел доки, sftp умеет в ls. И нахрена мне отдельный демон на сервере под ненужный протокол ftp?

anonymous
()
Ответ на: комментарий от LamerOk

Или переключиться на HTTP.

Ну мы ж тут протокол обсуждаем. Вот я у протокола две проблемы вижу — транспортный уровень и сериализация комманд. В остальном вполне себе ок.

kirk_johnson ★☆
()
Последнее исправление: kirk_johnson (всего исправлений: 1)
Ответ на: комментарий от monk

генерируемого Apache'м.

Тебе осталось написать, что ты пользователь freebsd через putty.exe, тогда пазл сложится целиком.

anonymous
()
Ответ на: комментарий от WitcherGeralt

Способ выделиться из безликой мейнстримной массы.

anonymous
()
Ответ на: комментарий от LamerOk

И? Ты уже нафантазировал себе, что это команда получения списка файлов? Как бы нет. Команда в ответ высирает неспецифицированный поток байт из которого ты должен либастралом догадаться, где имя файла, где его размер, где дата, а где права доступа.

Вот цитата из RFC 959

NAME LIST (NLST)

            This command causes a directory listing to be sent from
            server to user site.  The pathname should specify a
            directory or other system-specific file group descriptor; a
            null argument implies the current directory.  The server
            will return a stream of names of files and no other
            information.  The data will be transferred in ASCII or
            EBCDIC type over the data connection as valid pathname
            strings separated by <CRLF> or <NL>.  (Again the user must
            ensure that the TYPE is correct.)  This command is intended
            to return information that can be used by a program to
            further process the files automatically.  For example, in
            the implementation of a "multiple get" function.
monk ★★★★★
()
Ответ на: комментарий от kirk_johnson

Тред почитай. Я уже две фундаментальных назвал.

LamerOk ★★★★★
()
Ответ на: комментарий от saahriktu

curl supports FTP, FTPS, Gopher, HTTP, HTTPS, SCP, SFTP, TFTP, TELNET, DICT, LDAP, LDAPS, FILE, POP3, IMAP, SMB/CIFS, SMTP, RTMP and RTSP. Wget only supports HTTP, HTTPS and FTP.

Шах и мат: соснул твой wget - даже в гофер не умеет.

anonymous
()
Ответ на: комментарий от sn

Что такое FTP, почему это кого-то волнует?

The original specification for the File Transfer Protocol was written by Abhay Bhushan and published as RFC 114 on 16 April 1971. Все что нужно знать о его нужности

vertexua ★★★★★
()
Ответ на: комментарий от LamerOk

Команда в ответ высирает неспецифицированный поток байт из которого ты должен либастралом догадаться, где имя файла, где его размер, где дата, а где права доступа.

RFC 959:

NAME LIST (NLST)

            This command causes a directory listing to be sent from
            server to user site.  The pathname should specify a
            directory or other system-specific file group descriptor; a
            null argument implies the current directory.  The server
            will return a stream of names of files and no other
            information.

В работе:

$ ftp speedtest.tele2.net 
Connected to speedtest.tele2.net.
220 (vsFTPd 3.0.3)
Name (speedtest.tele2.net:username): anonymous
331 Please specify the password.
Password:
230 Login successful.
Remote system type is UNIX.
Using binary mode to transfer files.
ftp> nlist
200 PORT command successful. Consider using PASV.
150 Here comes the directory listing.
1000GB.zip
100GB.zip
100KB.zip
100MB.zip
10GB.zip
10MB.zip
1GB.zip
1KB.zip
1MB.zip
200MB.zip
20MB.zip
2MB.zip
3MB.zip
500MB.zip
50MB.zip
512KB.zip
5MB.zip
upload
226 Directory send OK.
ftp>

Miguel ★★★★★
()
Ответ на: комментарий от monk

А как по HTTP получить список файлов?

По протоколу WebDAV

vertexua ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.