LINUX.ORG.RU

Wget2

 ,


2

1

Вышла бета-версия wget2 — переписанной с нуля качалки-«паука» wget.

Главные отличия:

  • Поддерживается HTTP2.
  • Функционал вынесли в библиотеку libwget (LGPL3+). Интерфейс ещё не стабилизировали.
  • Многопоточность.
  • Ускорение за счёт сжатия HTTP и HTTP2, параллельных соединений и If-Modified-Since в заголовке HTTP.
  • Плагины.
  • FTP не поддерживается.

Судя по мануалу, интерфейс командной строки поддерживает все ключи последней версии Wget 1 (кроме FTP) и добавляет много новых, главным образом, связанных с новыми методами аутентификации и HTTP2.

И вторая ложка дёгтя помимо FTP: к разработке причастен один из идейных противников компрессора XZ. Все архивы выкладываются как tar.gz или tar.lz.

>>> Объявление в рассылке info-gnu

★★★★★

Проверено: Shaman007 ()
Последнее исправление: Shaman007 (всего исправлений: 1)

Ответ на: комментарий от anonymous

И как с помощью zip одному юзеру скачать директории a/b/c/ и a/d/e/, а другому только /b/c ? По ftp элементарно.

praseodim ★★★★★
()
Ответ на: комментарий от Miguel

Ну, а с фига ли твоё

значит я могу работать с этим данными одним и тем же интерфейсом

должно относиться только к сетевым протоколам?

Оно и не должно относиться только к сетевым протоколам. С чего ты это взял? Оно может относиться и к другим вещам в других областях.

Но конкретно в сетевом протоколе я жду непротиворечивого и полного формального описания модели данных и команд работы с ними.

Да, и, я так понимаю, в возможности получить список файлов ты уже убедился?

Я так понимаю, что в отсутствии формальной спецификации на передаваемые данные ты уже убедился, и теперь пытаешься жиденько съехать на «ну работает же как-то»?

LamerOk ★★★★★
()
Ответ на: комментарий от WitcherGeralt

Если бы оно не было хорошим, то его бы, внезапно, не создавали бы.

Если не поддерживают одни разработчики, то это не значит, что не поддерживают другие.

saahriktu ★★★★★
()
Ответ на: комментарий от anonymous

Зачем для этого команда? Скачивается каждый файл отдельно, пофайлово. Клиент получает список файлов в папке и скачивает их все автоматически.

ValdikSS ★★★★★
()
Последнее исправление: ValdikSS (всего исправлений: 1)
Ответ на: комментарий от Miguel

Ой, вот только вирусов для wget нам и не хватало.

Хватало или нет, но скопировать себе на винт копию сайта или его части уже часто невозможно без javascript.

praseodim ★★★★★
()
Ответ на: комментарий от LamerOk

Но конкретно в сетевом протоколе я жду

Всем пофиг, что ты ждёшь.

в отсутствии формальной спецификации на передаваемые данные

В отношении выхлопа команды NLST это враньё. Тебя снова ткнуть носом?

Miguel ★★★★★
()
Ответ на: комментарий от saahriktu

Если бы оно не было хорошим, то его бы, внезапно, не создавали бы.

Если бы твоё утверждение было верным, мы бы не видели 99,9% всех информационных и коммуникационных систем, которые видим вокруг себя.

LamerOk ★★★★★
()
Ответ на: комментарий от ValdikSS

Зачем для этого команда? Скачивается каждый файл отдельно, пофайлово.

Т.е. это делает клиент. А в http это не так, ага :)

anonymous
()
Ответ на: комментарий от Miguel

В отношении выхлопа команды NLST это враньё.

Тебя снова ткнуть носом, как ты файл от директории отличить не можешь?

И что там с

ls
? Я всё еще жду.

Всем пофиг,

А тебе аж настолько, что ты даже проскакал тысячу лиг.

LamerOk ★★★★★
()
Ответ на: комментарий от anonymous

В HTTP нет понятия папки и файлов в ней, это не протокол передачи файлов как таковых. Есть небольшое количество клиентов, которые могут из HTML-страницы генерировать список ссылок и скачивать их, но это — ерунда.

ValdikSS ★★★★★
()
Ответ на: комментарий от WitcherGeralt

Нет стандартизированного протокола для передачи списка файлов. Веб-сервер может только HTML сгенерировать со ссылками.

ValdikSS ★★★★★
()
Ответ на: комментарий от vertexua

The original specification for the File Transfer Protocol was written by Abhay Bhushan and published as RFC 114 on 16 April 1971. Все что нужно знать о его нужности

Напомни пож-ста, как там с TCP/IP ?

vasya_pupkin ★★★★★
()
Ответ на: комментарий от praseodim

Да, он умеет парсить некоторые стандартные индексы (от apache и nginx).

ValdikSS ★★★★★
()
Ответ на: комментарий от ValdikSS

Ага, то есть отдельный демон вам поднять - это норм; юзать wget - это норм. А если возникает задача качать директории, то сразу кто если не путин кто кроме ftp, вместо того чтоб пару строк для нужного вхоста закинуть в конфиг nginx и натравить wget, _о котором кстати тред_.

btw, я из какого-то другого мира, и файлы качаю по scp.

anonymous
()
Ответ на: комментарий от LamerOk

Тебя снова ткнуть носом, как ты файл от директории отличить не можешь?

Могу. Я тебе предложил подсказать, как именно, но ты, похоже, сам решил догадаться?

И что там с ls

Ничего. Во-первых, это вообще не команда протокола, это команда в классическом ftp-клиенте. Во-вторых, команда протокола (LIST) явным образом обозначена как возвращающая человеко-читаемые данные, а для получения машинно-читаемого списка есть команда NLST.

А тебе аж настолько, что ты даже проскакал тысячу лиг.

Кгхм. Во-первых, не путай цитаты. Во-вторых, на твои хотелки — да, плевать, а вот на твоё враньё на публичном форуме — нет.

Miguel ★★★★★
()
Ответ на: комментарий от anonymous

https://daniel.haxx.se/docs/curl-vs-wget.html

Куча утверждений устарела.

1. Про FTP уже написали :)

2.

curl supports gzip and deflate Content-Encoding and does automatic decompression
curl supports HTTP/2

wget2 тоже научился.

3.

Wget supports only GnuTLS or OpenSSL for SSL/TLS support
curl can be built with one out of eleven (11!) different SSL/TLS libraries, and it offers more control and wider support for protocol details.

wget2 добавляет новые библиотеки, хотя до 11 ещё далеко.

4.

curl supports more HTTP authentication methods, especially over HTTP proxies: Basic, Digest, NTLM and Negotiate

wget2 добавляет фичи по аутентификации на прокси.

5.

Its ability to recover from a prematurely broken transfer and continue downloading has no counterpart in curl.

Лечится примитивным однострочником. Все необходимые фичи в curl-е есть, только не задействованы автоматически.

question4 ★★★★★
() автор топика
Ответ на: комментарий от WitcherGeralt

Зачем вот я все аккаунты удалил на лоре, если все равно захожу %)

anonymous
()
Ответ на: комментарий от saahriktu

Ага, невозможно создать ничего плохого. Как тебе в Эквестрии живётся?

По твоей же логике, всё новое тоже хорошее, и, очевидно, даже лучше старого, иначе бы его не создавали, лол.

WitcherGeralt ★★
()
Ответ на: комментарий от anonymous

Я раздаю файлы обычным пользователям, не технически подкованным. Они не будут использовать scp, даже smb вряд ли будут использовать.

FTP работает из браузера, работает из FTP-клиентов, на любой операционной системе со стандартным набором программ, позволяет удобно скачивать и загружать много файлов одновременно. Свои задачи полностью решает, и замены я ему не вижу, увы.

ValdikSS ★★★★★
()
Ответ на: комментарий от Miguel

Могу.

Ну так чего ж ты тянешь с ответом? Приводи спецификацию из протокола.

а вот на твоё враньё на публичном форуме — нет.

Которое заключается в том, что что?

LamerOk ★★★★★
()
Ответ на: комментарий от praseodim

Нет ли там планов обработку жабоскрипта добавить? А то чем дальше, тем чаще просто парсинг html для рекурсивного скачивания бесполезен.

Не знаю. Но по поводу добавления уязвимостей — в мануале упомянуто автоматическое скачивание плагинов :)

question4 ★★★★★
() автор топика
Ответ на: комментарий от saahriktu

Если бы оно не было хорошим, то его бы, внезапно, не создавали бы

Чего несёт, офигеть просто.

anonymous
()
Ответ на: комментарий от LamerOk

Ну так чего ж ты тянешь с ответом?

Ну, я думал, ты сообразишь всё-таки.

Попробуй сделать туда cd (команда протокола CWD) — и сразу выяснишь, можно ли.

Которое заключается в том, что что?

Что в FTP, якобы, нельзя получить список файлов.

Miguel ★★★★★
()
Ответ на: комментарий от ValdikSS

Я отношусь к тебе и твоим трудам с уважением (хоть и считаю их относительно бесполезными, но это сугубо личное мнение).

Я раздаю файлы обычным пользователям, не технически подкованным.
FTP работает из браузера
на любой операционной системе со стандартным набором программ, позволяет удобно скачивать и загружать много файлов одновременно

Можешь описать любой юзкейс для примера? Я сейчас как раз являюсь обычным пользователем на винде, не уверен что местный ftp клиент в браузере позволяет качать директории целиком. Ошибаюсь?

anonymous
()
Ответ на: комментарий от anonymous

Позволяет. Если просто открыть FTP стандартным проводником Windows, то он будет выглядеть как обычная папка. А можно еще и примонтировать FTP как диск, и любая программа сможет его использовать!

Разумеется, файлы можно не только скачивать, но и загружать.

ValdikSS ★★★★★
()
Последнее исправление: ValdikSS (всего исправлений: 1)
Ответ на: комментарий от question4

Ну да, четко написано «has no SOCKS support». Полегчало прямо.

anonymous
()
Ответ на: комментарий от ValdikSS

Ну да, про файловый менеджер я что-то забыл (очень давно его не использовал). Ок, я проиграл.

anonymous
()
Ответ на: комментарий от ValdikSS

Позволяет. Если просто открыть FTP стандартным проводником Windows, то он будет выглядеть как обычная папка. А можно еще и примонтировать FTP как диск, и любая программа сможет его использовать!

На лоре иногда такое про винду узнаешь. Это как в винде ftp смонтировать в диск штатными средствами? Как smb-ресурс что ли? O_o Надо попробовать будет, даже в голову не приходило.

praseodim ★★★★★
()
Последнее исправление: praseodim (всего исправлений: 1)
Ответ на: комментарий от praseodim

Хм, может, ошибаюсь насчет монтирования в качестве диска. SMB и Webdav точно можно монтировать штатными средствами, а насчет FTP теперь не уверен, нужно проверить. Но в проводнике FTP как папка точно работает, в этом я уверен, раньше этим постоянно пользовался.

ValdikSS ★★★★★
()
Последнее исправление: ValdikSS (всего исправлений: 1)
Ответ на: комментарий от LamerOk

Пока еще работает, только планируется убрать, и только в хроме.

ValdikSS ★★★★★
()
Ответ на: комментарий от ValdikSS

Но проблемой это не является. А раздача файлов через заведомо уязвимый протокол ещё как. Надеюсь, ты хотя бы не исполняемые файлы раздаёшь.

WitcherGeralt ★★
()
Ответ на: комментарий от WitcherGeralt

У FTP есть шифрование через FTPS, которое поддерживается в некоторых клиентах. В популярных, к счастью, поддерживается, но во встроенных в ОС — обычно нет.

ValdikSS ★★★★★
()
Ответ на: комментарий от WitcherGeralt

Что там кстати про mitm, или под нынешним ftp подразумевают по дефолту ftps какой-нибудь, надеюсь?

anonymous
()
Ответ на: комментарий от Miguel

Попробуй сделать туда cd

Не-не-не, Дэвид Блейн. Речь идёт о ПРОТОКОЛЕ. Не о реализации.

Мы не обсуждаем, что полным брутфорсом всех команд ко всем комбинациям выходных данных можно что-то получить. Мы говорим о протоколе.

Что в FTP, якобы, нельзя получить список файлов.

Ну, вот ты, например, не смог. Ты привёл список имён узлов файловой директории, содержимое которого вообще взято с потолка и может прыгать от реализации к реализации как угодно.

Привести список имён объектов, для которых будет валидна команда get (а именно это является «файлом» в терминах ftp-протокола) ты не смог.

И у тебя еще есть наглость обвинять меня во вранье!!11

LamerOk ★★★★★
()
Ответ на: комментарий от LamerOk

Мы не обсуждаем, что полным брутфорсом всех команд ко всем комбинациям выходных данных можно что-то получить.

Не надо делать полный брутфорс. Надо просто сделать CWD.

Ну, вот ты, например, не смог.

И вот ты снова наврал.

Ты привёл список имён узлов файловой директории, содержимое которого вообще взято с потолка

Нет, не с потолка. И да, «узлы файловой директории» теперь модно называть «файлы».

а именно это является «файлом» в терминах ftp-протокола

Снова враньё.

Miguel ★★★★★
()
Ответ на: комментарий от ValdikSS

Позволяет. Если просто открыть FTP стандартным проводником Windows, то он будет выглядеть как обычная папка. А можно еще и примонтировать FTP как диск, и любая программа сможет его использовать!

У FTP есть шифрование через FTPS, которое поддерживается в некоторых клиентах. В популярных, к счастью, поддерживается, но во встроенных в ОС — обычно нет.

Не, так нельзя. Даже с моей точки зрения это дикость, а ты намного серьезнее относишься к вопросу.

anonymous
()
Ответ на: комментарий от Miguel

Адекватный когда-то Miguel потихоньку превращается в grim. Печально.

anonymous
()
Ответ на: комментарий от anonymous

Файлы, которые я раздаю и которые мне загружают, публичные, и не требуют конфиденциальности передачи. Основной упор — на простоту скачивания и загрузки.

В vsftpd, который я использую, можно отключить FTP, оставив только FTPS, если требуется.

ValdikSS ★★★★★
()
Ответ на: комментарий от ValdikSS

Файлы, которые я раздаю и которые мне загружают, публичные, и не требуют конфиденциальности передачи. Основной упор — на простоту скачивания и загрузки.

До тех пор, пока провайдер клиентов не решит подменить эти файлы.

В vsftpd, который я использую, можно отключить FTP, оставив только FTPS, если требуется.

Так ведь тогда не заработают встроенные в ОС фтп клиенты, как ты выше писал.

anonymous
()
Ответ на: комментарий от ValdikSS

Я не спорю, что FTP неэффективен в плане задержек, устарел, имеет иногда встречающиеся проблемы с кодировками и еще кучу минусов, и я не призываю им пользоваться для защищенного обмена (SFTP здесь подойдет лучше). Но у него есть большое преимущество — он поддерживается буквально везде и позволяет совершать с файлами все необходимые операции, в т.ч. анонимно.

ValdikSS ★★★★★
()
Последнее исправление: ValdikSS (всего исправлений: 1)
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.