LINUX.ORG.RU

Wget2

 ,


2

1

Вышла бета-версия wget2 — переписанной с нуля качалки-«паука» wget.

Главные отличия:

  • Поддерживается HTTP2.
  • Функционал вынесли в библиотеку libwget (LGPL3+). Интерфейс ещё не стабилизировали.
  • Многопоточность.
  • Ускорение за счёт сжатия HTTP и HTTP2, параллельных соединений и If-Modified-Since в заголовке HTTP.
  • Плагины.
  • FTP не поддерживается.

Судя по мануалу, интерфейс командной строки поддерживает все ключи последней версии Wget 1 (кроме FTP) и добавляет много новых, главным образом, связанных с новыми методами аутентификации и HTTP2.

И вторая ложка дёгтя помимо FTP: к разработке причастен один из идейных противников компрессора XZ. Все архивы выкладываются как tar.gz или tar.lz.

>>> Объявление в рассылке info-gnu

★★★★★

Проверено: Shaman007 ()
Последнее исправление: Shaman007 (всего исправлений: 1)

Ответ на: комментарий от saahriktu

Я пользуюсь софтом 20 летней давности на десктопе. Вот иксы без всяких там кривых libinput, настроенные по гайдам тех лет. В интернете очень мало актуальной инфы, видимо идёт оболванивание и расчёт на то, что «пользователю это не нужно». Стал бы я пользоваться иксами 20 летней давности? Конечно нет. Но приятно что сохранена совместимость того что прекрасно работает. Скажем, проприетарный драйвер нвидиа работает более прекрасно чем новомодные гламуры. Одно из двух, либо архитектура изначально хорошо продумана, либо кто-то очень постарался не сломать совместимость.

Но использовать ущербные уязвимые протоколы, когда их можно не использовать? Изначально дефективные? Которые даже нормально не работают уже лет 30? Увольте. А так, например, я написал скрипт который уведомлял меня о новостях на разных сайтах. Далеко не везде есть atom-feed (rss чутка прикопали уже давненько), для этого он скачивал странички и считывал из них элементы. Простая замена http на http/2 значительно сократила время работы и уменьшила потребляемый трафик. Кто бы отказался от http/2 при таких вводных? Ftp же просто не вписался в современные реалии, нужно простить и забыть тех наивных программистов, которые его придумали.

anonymous
()
Ответ на: комментарий от anonymous

Это какие протоколы не работают? FTP очень даже работает.

saahriktu ★★★★★
()
Ответ на: комментарий от anonymous

Да я с вас фигею... По сути, в комментариях куча идиотов топит за то, что кувалды устарели (они лично ими больше не пользуется), а вот ювелирные молотки - рулит. И только некоторые адекватные говорит, что нет - каждой задаче свой инструмент. FTP - это протокол для разшаренной, примитивной раздачи файлов. И он с этим прекрасно справляется, делает именно то, что нужно, именно так, как нужно.

anonymous
()
Ответ на: комментарий от anonymous

Штаны то снял^W^W^W Порты то на роутере открыл для ftp? Все 100% случаев когда я пытался нормально заюзать фтп окончились полным провалом, даже если не вспоминать про уязвимости и ограничения. Какая тут может быть задача? А вот sftp вполне ничего, только это не ftp.

anonymous
()
Ответ на: комментарий от saahriktu

Да. Не бывает плохих стандартов, бывают неподходящие для тех или иных задач инструменты.

Сразу видно диванного кукаретика.

kirk_johnson ★☆
()
Ответ на: комментарий от praseodim

пусть тогда новые версия ядра не позиционируют как замены друг другу, т.к. там тоже что то выкидывают. в соседней новости из дебиана какие то пакеты убрали, и присвоили им номера 10.1 и 9.10, так ведь могут подумать что эта следующие версии 9 и 10 веток.

в новостях про дебиан или ядро мы ведь увидим такое комментарии от тебя.

keinas
()
Ответ на: комментарий от anonymous

Это да, весь shodan завален такими простыми локальными сервисами. Только гнать из профессии, по другому не научишь.

anonymous
()
Ответ на: комментарий от Iron_Bug

Чтобы была возможность делать запросы по grpc и качать данные. Правда, это скорее к функционалу curl больше. Собтвенно, grpcurl уже есть, но почти один такой.

Wizard_ ★★★★★
()
Ответ на: комментарий от anonymous

Где описание причин переписывания с нуля?

В багтрекере.

Чем оно лучше aria2?

Совместимо по CLI с 1-й версией.

question4 ★★★★★
() автор топика
Ответ на: комментарий от anonymous

Только гнать из профессии, по другому не научишь.

Чего не научишь? Делать сервис «по нормальному»? Чтоб скачать вот это, пожалуйста, зарегистрируйтесь, подтвердите свой номер телефона, пришлите скан паспорта и оплатите счет за предстающую работу нашего старшего оператора закачек. В течении недели мы вам позвоним через видео звонок, проверим вашу личность и пришлем одноразовую сылку, которая будет доступна только с вами указанного IP адреса и только в течении 2 часов, для скачки зашифрованного контента через защищенный канал. Спасибо, что пользуетесь нашими услугами! Не, я, конечно, не спорю, что элегантная простота FTP протокола прямо тянет использовать его там, где ему не место, так, как его не стоит использовать. MITM никто не отменял и от этого надо как то страховаться. Но это ни как не беда самого протокола. Он сам - совсем не об этом. :)

anonymous
()
Ответ на: комментарий от vasya_pupkin

Намного лучше. Начало IPv6 - 1998.

https://tools.ietf.org/html/rfc2460

А стандартизирован полностью в финальную версию в 2017

https://tools.ietf.org/html/rfc8200

This document specifies version 6 of the Internet Protocol (IPv6). It obsoletes RFC 2460.

vertexua ★★★★★
()
Последнее исправление: vertexua (всего исправлений: 2)
Ответ на: комментарий от anonymous

Если бы сейчас мне кто-то сказал, что надо качать файлы по фтп - я бы скорее всего не стал.

Типа зашквар для четкого поцона что ли? Это уже троллизм какой-то, а не техническая дискуссия.

praseodim ★★★★★
()
Ответ на: комментарий от ValdikSS

Спасибо! Блин, век живи, век учись, как говорится. О такой фиче не догадывался. Надо будет на работе проверить.

praseodim ★★★★★
()
Ответ на: комментарий от keinas

Кроме шуток, чего некоторым так хочется, чтобы ftp не было?

wget(2) - это консольный инструмент для скачивания чего-то, в том числе и автоматического скачивания из разных скриптов и т.д. Логично при этом максимально поддерживать набор протоколов для этого, а не выкидывать из идеологических побуждений что-то.

Поэтому выкидывание ftp (если только его не добавят все же) - это глупость и глупость в квадрате, если так еще и «учить» юзеров собрались.

Я еще могу понять, почему гофер не поддерживается: он сейчас во всем мире установлен, наверное едва на сотне сайтов, и мало кто вообще о нем слышал, но блин ftp - это в совсем недавнем прошлом один из основных протоколов в интернете и до сих пор достаточно широко используется.

praseodim ★★★★★
()
Ответ на: комментарий от vertexua

А стандартизирован полностью в финальную версию в 2017

Последняя RFC для FTP тоже не 1971-м годом датируется. Уже не помню последний ли 1738-й, но как минимум выходит, что 1994-м годом.

praseodim ★★★★★
()
Ответ на: комментарий от vertexua

Публично через торренты, а защищенно с приседаниями через SFTP, защищенно без приседаний - Google Drive, OneDrive, Dropbox

Ни один из этих способов не является удобным для юзкейса раздавать свою файлопомойку с изподкроватного сервера. Не говоря о том, что Google Drive, OneDrive, Dropbox - это и вовсе зависимость от стороннего «дяди». Да и со ссылками на дропбокс бывает, что заходишь туда - а там что-то про превышенные лимиты говорят. И нафига?

Короче, такое ощущение, что объективной причины не использовать ftp обычно нет, а просто «западло» пользоваться старым и кривоватым протоколом, даже если альтернативы не всегда годятся.

praseodim ★★★★★
()
Последнее исправление: praseodim (всего исправлений: 1)

А нафиг оно нужно-то без поддержки ftp?

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от ValdikSS

у меня не архивные данные, а постоянно что-то добавляется и удаляется, и никому не нужно качать всё целиком.

«Direct Connect», но это если регулярно (сорри, оно протухло, оказывется), а так да, замены ftp (или webdav) толком и нету

Deleted
()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от Deleted

сорри, оно протухло, оказывется

Оно развивается и улучшается. Появляются хабы с поддержкой Advanced Direct Connect (ADC), старые NMDC-хабы переходят на шифрование (NMDCS).

Новая версия EiskaltDC++ скоро зарелизится.

ValdikSS ★★★★★
()
Ответ на: комментарий от ValdikSS

2013-08-29 (v2.2.9)

ну такое. Я использовал вендовый FlylinkDC++ (результат форка форка форка форка форка), но тот чёт хреново работал. Потом ещё был linuxdcpp что ли, что-то такое. Но я не оценил особо. Тоже форк какого-то форка. Из живых вроде есть apexdc, да? А что такое airdcpp? Впервые слышу о таком.

anonymous
()
Ответ на: комментарий от anonymous

EiskaltDC++ развивается, но релиза не было уже 4 года, все из git собирают.

FlylinkDC++ ушел в коммерцию, делает плохие вещи (перенаправление с одного адреса хаба на другой за деньги).

AirDC++ — давно существующий и развивающийся клиент, есть версия для Linux, но только в виде демона с веб-интерфейсом.

Основной клиент DC++ (http://dcplusplus.sourceforge.net/) тоже не прекратил развитие.

Здесь есть информация о современном DC и клиентам, если интересно: https://habr.com/ru/post/438590/, https://habr.com/ru/post/438922/, https://habr.com/ru/post/449728/.

ValdikSS ★★★★★
()

ну не поддерживают ftp и что? запустил первый wget и не плачешь.

И вторая ложка дёгтя помимо FTP: к разработке причастен один из идейных противников компрессора XZ.

да всем плевать. это какие-то хипстерские заморочки.

crypt ★★★★★
()
Ответ на: комментарий от praseodim

Задача такого рода софта не решать за пользователя нужен ему или нет какой-то протокол, а давать его, раз он существует.

это на windows. а на unix они наоборот должны были сделать отдельные утилиты. но раз wget1 есть, то задача решена.

crypt ★★★★★
()
Ответ на: комментарий от praseodim

как минимум выходит, что 1994-м годом.

Последний rfc на ftp от 2014-ого года.

Да, в 2014-ом году в ftp решили завести поддержку vhosts.

https://tools.ietf.org/html/rfc7151

LamerOk ★★★★★
()
Ответ на: комментарий от praseodim

Ни один из этих способов не является удобным для юзкейса раздавать свою файлопомойку с изподкроватного сервера.

Поднимаешь web-сервер с автоматическим индексированием каталогов и опциональной авторизацией. Всё.

Что в этом сложного в 2К19?

LamerOk ★★★★★
()
Ответ на: комментарий от LamerOk

Тебе щас чуть ли ни каждый первый роутер в NAS'е готов раздать файлопомойку по всем протоколам от smb до rtsp, включая web-dav.

Хорош уже обмазываться несвежим протоколом.

LamerOk ★★★★★
()
Ответ на: комментарий от LamerOk

Поднимаешь web-сервер с автоматическим индексированием каталогов и опциональной авторизацией.

Ну вот опять веб-сервер и индексирование. В то время как с ftp - просто сразу расшарил часть файловой системы и все. Как уже говорилось, в принципе SMB также удобна, но у нее есть проблемы с доступом.

В то время как с FTP - просто зашел на сервер в FAR или mc, прыг-прыг курсором - отмечаешь инсертом что скачать и качаешь файлы с сервера себе на диск.

praseodim ★★★★★
()
Ответ на: комментарий от praseodim

«Вебсервер» это односточник на питоне или одностраничник на си. Так сложно, боже мой.

просто сразу расшарил

все доступные файлы в интернет и заодно бэкдор запустил на радость китайским ботнетам.

anonymous
()
Ответ на: комментарий от Shaman007

Шома, ну предложи что-нибудь взамен!

А до сих пор все хорошие файлопомойки — на ftp! И единственный вариант рекурсивно что-то оттуда выкачать - это вгет натравить!

Если вгет не умеет ftp, то он вообще не нужен: кто в наше время что-нибудь большое качает по http? А уж тем более, если это надо сделать рекурсивно...

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от Eddy_Em

Черт! Я после http заключил букву s в квадратные скобки!

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от anonymous

Список публичных хабов встроен в любой клиент. Отсортируйте по количеству пользователей и присоединяйтесь к первой двадцатке.

Есть еще узконаправленные хабы, только с музыкой или только с аниме, например. Их ищите по названию и описанию.

https://dchublist.biz/?do=hublist&page=1
http://hublist.eu/

ValdikSS ★★★★★
()
Последнее исправление: ValdikSS (всего исправлений: 1)
Ответ на: комментарий от Shaman007

Ну сделать «нормальный» режим, в дополнение к PASV, делов-то.

kirk_johnson ★☆
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.