Как скрипту на Python 3 максимально прикинуться браузером?

Юзерагент?

юзерагент от фаерфокса стоит

Скрипты? Стили?

???

https://slimerjs.org/
A scriptable browser for Web developers

http://phantomjs.org/ PhantomJS is a headless WebKit scriptable with a JavaScript API

Чтобы совсем считали нужно что-то типа phantomjs. А так правильные хедеры и печеньки прокатывают в большинстве случаев(если конечно там конечно жсом ничего не проверяют).

Selenium + вебдрайвер от FF/Chrome. Парсил так авито, хорошее и простое решение.

правильные хедеры и печеньки

где можно почитать какие правильные?

Не, надо на питоне и без иксов И если первое еще может обсуждается, то второе точно нет

Что проверяют сайты кроме ip?

какой конкретно сайт ты проверяешь?

Можно запустить в Xvfb.

Посмотри в браузере, в девтулзе какие он посылает и что получает.

Selenium, во-первых, на питоне хорошо работает — биндинги есть. Во-вторых, это все работает и без иксов хорошо (гоняю на VDS'ке только с ssh-доступом)

Посмотри dagr. Там что-то такое используется.

технически Selenium + PhantomJS (или просто фантом), должны работать. Оно даже скриншоты умеет. Да, без иксов. Но обычно просто по ip банят, максимум, действительно JS проверяют, но это совсем уж дикость тогда. Мне всегда хватало пары левых ip и юзерагенты.

Попробуй http://wwwsearch.sourceforge.net/mechanize/

ну и если python3 - обязательно, то варианты - http://stackoverflow.com/questions/31774756/installing-mechanize-for-python-3-4

http://wwwsearch.

Кстати что это, и такое бывает?

это просто домен 3-го уровня, как захотели так и назвали, хотя идиоты конечно, чо уж там...

В свое время сильно удивился увидев на биллбордах рекламу сайта www2.mts.ru :-)

это поддомен. Более внятным примером будет например, если у тебя есть домен mysite.com, ты можешь создать поддомен, blog.mysite.com или en.mysite.com, это общепринятая практика разделения домена на поддомены по тематике. К www это отношения не имеет. www — это тоже поддомен. Когда разрабатывали эти схемы, предполагалось, что это будет стандартный поддомен любого сайта, для доступа по http (в отличии например от ftp). Собственно, как всегда, хотели как лучше. В итоге, пошла путаница с поисковиками, получилось, что http://www.site.com и site.com — 2 разных домена, с одинаковым контентом, пошли какие то склейки, редиректы, в итоге, если не указать поисковику явно, какой домен должен быть основным, он может взять как основной любой из них, как c www так и без него. Короче, дурдом, как всегда. Вверху всегда сидят идиоты, а внизу всегда расхлебывают за ними дерьмо, ничего нового:)

Вроде с простым перебором прокси и кучей юзерагентов работает, всем спасибо!

Куки, реферер, яваскрипт.
Попробуй сначала RobobBrowser, потом - WebDriver

Есть косвенные признаки по которым сайт определяет от кого запрос. В наиболее тяжелых случаях приходится даже движение курсора мыши имитировать.

Кстати, московские таджики и иранцы понимают друг-друга?

Там не могу ответить, нужно 2 скора подкопить. Да, таджики понимают иранцев и наоборот, таджики — не азиаты какие-то (в общепринятом смысле), а официльный ираноязычный народ, их язык официально называется «таджикский фарси», ну а фарси (парси) — официальный язык персов. Вот только таджики понимают устную речь, но не все понимают арабское персидское письмо (начертания насха, насталика), потому что совок при русификации Азии кириллизировал их, но в целом и общем сказать, переход Таджикистана на персидское письмо — вопрос короткого времени. Если ты не в курсе, то большая часть таджиков живет не в РФ :), а в Афганистане, где официальный язык тоже персидский, но по политическим причинам называется не фарси, а дари, ну это чтобы Персия не объявила Афганистан персидским миром и не начала завоевательные войны, хотя фактически: Иран, Афганистан, Таджикистан и юг Азербайджана — это всё историческая Персия, именно по этой причине там распространен и используется, несмотря на арабские завоевания, персидский язык.

Таджики — уникальный народ, их не нужно путать с кочевниками, например узбеками, киргизами, туркменами и т.п. Это остаток тех самых персов Персеполиса, царя Дария, зороастрим, Заратуштра вот это всё.

Я год прожил в Иране, сказка.

Не, ну в Афганистане ещё говорят на урду, который хинди и т.п.

На урду не говорят в Афганистане, ты перепутал с Пакистаном, это совсем другая страна, в Афгане официальный язык — дари, на нем говорит больше половины населения, еще треть населения говорит на пашто это тоже иранский язык («паштава» (parstava) — персидский в переводе). В общем смотришь на територию бывшей Персии (империи) и можешь не сомневаться, что там большинство говорит на персидскои или диалектах. Но здесь нужно сделать поправку для северного Азербайджана (кстати азербайджанцев в Иране больше, чем в самом Азербайджана), который тюркоязычный.

кстати азербайджанцев в Иране больше, чем в самом Азербайджана

даже текущий высший руководитель (великий аятолла, не путать с президентом Рухани) Али Хаменеи, он же первый (нулевой) и самый могущественный человек в Иране — этнический азербайджанец.