LINUX.ORG.RU

Фикс yt-dlp dzen.ru который сломался 2024-04-10

 dzen-ru, ,


1

3

В инете ничего по этому поводу не нашёл, сделал фикс сам.

Сам патч https://firk.cantconnect.ru/yt-dlp/yt-dlp-fix-dzen.patch

Пропатченая версия последнего (2024.04.09) yt-dlp если кому лень: https://firk.cantconnect.ru/yt-dlp/yt-dlp-2024.04.09.patched

Как патчить вручную:

Кладём yt-dlp в текущую директорию

7z x yt-dlp # unzip ругается на шебанг, поэтому 7z
patch -p0 < yt-dlp-fix-dzen.patch
zip -r yt-dlp.patched.zip __main__.py yt_dlp
echo '#!/usr/bin/env python3' > yt-dlp.patched
cat yt-dlp.patched.zip >> yt-dlp.patched 
chmod +x yt-dlp.patched

Отправить им патч не могу - они всё принимают только через гитхаб а я там региться не собираюсь. А так может кому пригодится.

★★★★★

Последнее исправление: firkax (всего исправлений: 2)

Вот сайтов-то поддерживаемых заявлено немерено, 1801 позиция. И благодаря усилиям разрабов yt-dlp, как-бы и железо мощное не нужно, да и жирный браузер под вопросом, хватило бы и netsurf, ) перетаскивай, знай, ссылки в открытый mpv.

Но вот постоянно что-то отваливается, то один сайт, то другой. И за всем этим зоопарком глаз да глаз нужен.

p.s. Только ютуб более-менее оперативно отслеживается и правится, а остальные…

krasnh ★★★★
()
Последнее исправление: krasnh (всего исправлений: 2)
Ответ на: комментарий от CrX

Речь не о том, где лучше смотреть видео, а о большем выборе. Когда набираешь «Винни Пух» в яндексе, переключаешься на вкладку «видео» и у тебя огромнейший выбор, где не только ютуб, рутуб, вк и т.д., но и дзен.

krasnh ★★★★
()
Ответ на: комментарий от CrX

уже два года висит

Последний коммит на yandexvideo.py 5 месяцев назад (связан с дзен), и до 2024-03-10 все работало, как утверждает ТС.

krasnh ★★★★
()
Последнее исправление: krasnh (всего исправлений: 1)
Ответ на: комментарий от krasnh

Понятно, что иметь выбор лучше, чем не иметь. Но я бы, например, ради этого не стал ничего патчить, а просто забрал то же самое видео с ютуба. Стал бы я патчить ради какого-то уникального(?) контента, который нельзя взять с ютуба или с другой платформы, с которой yt-dlp «просто работает». Вот и интересуюсь у ТС, такая же причина или нет, и если такая, то что это за контент — вдруг мне оно тоже интересно, а я и не знаю, что оно есть

CrX ★★★★
()
Ответ на: комментарий от krasnh

До 2024-04-10 то есть позавчера точно работало и вчера вроде бы тоже но уже не уверен. Это я опечатался в названии темы.

firkax ★★★★★
() автор топика
Последнее исправление: firkax (всего исправлений: 1)
Ответ на: комментарий от CrX

Я не пытался искать найденные на дзене видео в других местах. Наверно, какая-то их доля, может даже больше половины, и правда продублирована на ютубе, но если ссылка на дзен у меня уже есть то зачем искать другую? В техническом плане он работает хорошо - отдача статики не лагает итд. Ну а какая-то доля точно есть которой больше нигде нет.

Речь в основном про частные съёмки. Если говорить про всякие медиаматериалы типа фильмов/музыки то да, они в первую очередь находятся на ютубе.

firkax ★★★★★
() автор топика
Последнее исправление: firkax (всего исправлений: 1)
Ответ на: комментарий от firkax

Ну а какая-то доля точно есть которой больше нигде нет

Примеры бы такого. Из стоящего, я имею в виду. Я из такого видел там только дублирование ютуб-каналов, да и всё… Понятно, что уникальное там есть, вопрос в том, есть ли уникальное помимо треша вроде каких-то колхозных рецептов, «я приварил подшипник к гаечному ключу, теперь все завидуют» и «как отмыть какашки с помощью соды, уксуса и такой-то матери»…

CrX ★★★★
()
Ответ на: комментарий от krasnh

Только ютуб более-менее оперативно отслеживается и правится, а остальные…

А остальным дороже бороться чем платить за канал. Смешно, что например ты или опчик не понимаете, что чем больше смотрят Ютуб в обход, тем больше он закрутит гайки, тем сложнее вам будет его обходить и так дальше.

Глупые люди просто не понимают, откуда берутся деньги и кто платит за то что они смотрят дзены и ютуб.

anonymous
()
Ответ на: комментарий от SerW

А что не так у youtube-dl с ютубом? Хоть релиз у него и заморожен, но коммиты все же исправно пишутся.

Клонируй гит, и собери с make.

krasnh ★★★★
()
Последнее исправление: krasnh (всего исправлений: 1)
Ответ на: комментарий от anonymous

Я тут шуршу как раз про парсинг хтмл-ей и xml-ей и с ужасом наблюдаю что там внутри часто регулярки. Больше всего меня порадовал «браузер» NetSurf (мне всего-то интересно найти как браузеры нынче внутри обрабатывают вложенные друг в друга надстрочные и подстрочные индексы ака теги <sub></sub> и <sup></sup>, потому что у меня идеи лучше чем оставить DOM и работать с ним честно говоря нет, т.к. последовательность вложений важна, а значит её надо хранить), так вот, там я нашел внутри интереснейший пакет называется HTML-Parser, там просто изумительные регулярки на перловке и сишке. Ладно links2 внутри говнокод-говнокодом, там понятно в одно рыло пишется чтоб в консольке мог гугл открыть. ХЗ, думаю может уже в tex-овские сорцы заглядывать пора? Мне всего-то надо формулы уметь рисовать из xml-я, а перегонять в html и рисовать через вебвью/браузер уже как-то оверкилом ощущаю.

peregrine ★★★★★
()
Ответ на: комментарий от peregrine

Ну всё-таки одно дело прога общего назначения для обработки текста (браузер именно такая), а другое - где надо распарсить вывод строго конкретной штуки. Во втором случае я обычно даже не регулярки использую а побайтовый строковый поиск сигнатур - это самый лёгкий, в плане затрат проца, вариант.

А к чему прицепился аноним я не знаю, патч вообще про извлечение данных из json-а (у которого поменялась структура) и там честный json-парсер с деревом как был так и остался. Регулярки там рядом есть в коде который не ломался и не менялся.

firkax ★★★★★
() автор топика
Последнее исправление: firkax (всего исправлений: 2)
Ответ на: комментарий от CrX

Примеры бы такого. Из стоящего, я имею в виду.

Бывает личное видео из каких нибудь тур поездок автомобильных. Вот недавно смотрел там такое видео из поездки по русскому северу. Мне это интересно, т.к. сам планирую такую поездку. А то что оно продублировано на ютубе - очень сомневаюсь. И таких видео думаю довольно много.

Loki13 ★★★★★
()
Ответ на: комментарий от krasnh

Опубликовано решение, но пока не принято

Принято. Но чтоб не ждать до следующего релиза, с некоторых пор, можно простым способом обновляться до последних комитов. Переключившись на определенный канал master/nightly (дефолт stable).

$ sudo yt-dlp --update-to master

Current version: stable@2024.04.09 from yt-dlp/yt-dlp
Latest version: master@2024.05.11.215834 from yt-dlp/yt-dlp-master-builds
Current Build Hash: 7f12092fb95ffa2c8947c855298c94c612c9c0e969e132d7eca5502981955c99
Updating to master@2024.05.11.215834 from yt-dlp/yt-dlp-master-builds ...
Updated yt-dlp to master@2024.05.11.215834 from yt-dlp/yt-dlp-master-builds


Правда, зависит от способа установки yt-dlp. У меня просто закинут бинарник в /usr/local/bin/. )
С установленным с реп дистров, такое не прокатит, наверно.

krasnh ★★★★
()
Ответ на: комментарий от krasnh
$ yt-dlp -f b 'https://dzen.ru/video/watch/63d3d291af6b2866ced6f50f?rid=647105722.315.1715516965977.33112&referrer_clid=1400&sid=10989568119793'

[ZenYandex] Extracting URL: https://dzen.ru/video/watch/63d3d291af6b2866ced6f50f?rid=647105722.315.1715516965977.33112&referr...0&sid=10989568119793
[ZenYandex] 63d3d291af6b2866ced6f50f: Downloading webpage
Extracting cookies from firefox
Extracted 1363 cookies from firefox
[ZenYandex] 63d3d291af6b2866ced6f50f: Downloading MPD manifest
[ZenYandex] 63d3d291af6b2866ced6f50f: Downloading m3u8 information
[info] 63d3d291af6b2866ced6f50f: Downloading 1 format(s): 1175-3
[hlsnative] Downloading m3u8 manifest
[hlsnative] Total fragments: 150
[download] Destination: Мультфильм Винни-Пух идет в гости [63d3d291af6b2866ced6f50f].mp4
[download]   4.2% of ~  45.94MiB at  980.19KiB/s ETA 00:56 (frag 6/150)


krasnh ★★★★
()

спрошу здесь:
что за хостинг видосов «abc»? у меня бывает при попытке скачать видео с некоторых сайтов ругается, что не находит соответствующий модуль. вот думаю, включить ли его в whitelist. у меня просто при сборке yt-dlp кастомно собирается с только разрешёнными сайтами из whitelist. просто зачем мне, например, скрипты yt-dlp для скачивания гей порно.

teod0r ★★★★★
()
Ответ на: комментарий от teod0r

Выборочную сборку кусков кода в zip зачем-то сделал, а посмотреть внутрь этого самого кода не подумал? Там ж написаны урлы везде, abc.net.au австралийский новостной сайт.

firkax ★★★★★
() автор топика

Эт самое, тут ещё не ныли - а что написать для ИИ, посоветуйте? Ну вот это и написать. Дуру, которая будет разбирать любой видеохостинг сама с целью файл вытащить

DumLemming ★★
()
Ответ на: комментарий от krasnh

Конечно не видишь abc.com, потому что abc это abc.net.au

https://github.com/yt-dlp/yt-dlp/blob/master/supportedsites.md

всё на месте.

А с сайта abc.com качает модуль «go» т.к. у них видео в abc.go.com - это совсем другое.

firkax ★★★★★
() автор топика