Тупой вопрос про использование куков во wget

Печеньки ты ему дал, дай и кнутuser-agent. Думаю, проблема в этом.

Увы,

wget --load-cookies=/tmp/cookies.txt -U "Mozilla/5.0 (X11; Linux i686; rv:144.0) Gecko/20100101 Firefox/144.0" -O - $url

тоже выдаёт Forbidden(

wget-ом ты такие сайты не откроешь, никак. Неужели ты думаешь что он отличается от браузера только юзер-агентом и куками?

Я подумал: может firefox как-то можно запустить, чтоб он без формирования интерфейса просто обработал url и выдал результат (то, что я в Code Inspector'е вижу) в stdout.

firefox без интерфейса можно, но в stdout нельзя. Чтобы забрать контент, к файрфоксу надо прицепить проксю (изучай Си, если ещё нет), которая честно даст ему сделать всё что хочет он и хочет от него сайт, но данные страницы просниффит и куда-нить сохранит. Митмфлар проксю конечно же тоже спалит и будет очень часто сувать свои капчи, но по крайней мере остальное можно будет не делать вручную.

Если не найдёшь шаманства для wget (или curl, тоже попробуй), то можно воткнуть в фф юзерскрипт, который будет выцеплять контент со страницы и отправлять на твой сервер.

Там, наверное, не только user-agent нужно, а вообще весь заголовок, host и всё остальное.. И не проще ли найти другой источник нужной информации?

погрузился в ужасные дебри питона и селениума

Что там сложного?

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Firefox()
driver.get("http://www.python.org")
elem = driver.find_element(By.NAME, "q")

CloudFlare занимается тем, что монополизирует Интернет под один браузер. И использует лютый фингерпринтинг для того, чтобы никакой программный код, кроме кода браузера за которым в реальном времени находится живой человек, не смог попасть на сайт.

Да, пока ещё наверное можно это обойти, но только временно. Гайки закручивают с каждым годом всё сильнее.

Для обхода есть инструменты, но т.к. не занимаюсь давно скрейпингом, не могу вспомнить название. Попадались где-то недавно в обсуждениях политики CF на HN, но прочитал и сразу же забыл.

или curl, тоже попробуй

я пробовал, он неасиливает скрипт перенаправления и тупо затягивает страничку с капчей(

Не иcключаю, что попробую. Хотя узнавать что-то новое ужасно лень, но, видимо, придётся.

Так оно, насколько я понимаю, и должно сделать то, что мне нужно: вывалить в консоль содержимое вкладки «Inspector» браузерного окна «Developer Tools», если всё предельно педантично изложить?

в firefox открываешь inspector -> network, грузишь сайт, находишь нужный запрос, пкм, copy value -> copy as curl. Дальше методом исключения ищешь какие серверу нужны заголовки. Куки обычно не одноразовые и долго живут. selenium нужно использовать, когда сервер делает сложные антибот проверки через javascript.

CF давно умеет детектить такие примитивные вещи. У них используются более продвинутые способы фингерпринтинга UA. Например, фингерпринтинг SSL: как-то основывается на том, что браузеры все по-разному реализуют SSL, есть какие-то тонкие различия в реализации (в детали не вникал), которые на 100% достоверно позволяют отличить curl/wget от FF и Chrome.

Есть и инструменты, которые позволяют обойти SSL фингерпринтинг, предлагаю искать их самостоятельно. Но понятно, что это борьба брони и снаряда: сегодня сработает, завтра уже нет.

вывалить в консоль содержимое вкладки «Inspector» браузерного окна «Developer Tools»

Зачем всё? Можешь вытащить только нужный блок со страницы, по XPATH или ID, или названию css класса.

Ну да. Оно и есть, что мне надо. Придётся и эту матчасть разгрызать. Эх, долюшка красноглазая... Спасибо!

когда сервер делает сложные антибот проверки через javascript

Клаудфлар, к сожалению, именно это и делает(

Можете попробовать curl-impersonate, но эта гонка вооружений зашла далеко вперёд. Даже настоящий но безголовый бразузер могут определить и забанить.

Да даже и с головой-то я еле-еле ключик подобрал чтоб в вечной петле не крутиться. Печаль, да)

В фф есть опция - скопировать как curl, которая копирует твой запрос из браузера и один в один делает из него команду курл. Может это тебе поможет?