Как распарсить такой сайт?

Реверс скриптов.

Я слышал есть специальные дополнения для браузеров, которые позволяют внешним программа анализировать показываемое содержимое.

А ещё если у сайта есть упрощённая или мобильная версия, то стоит парсить её.

Реверс скриптов

Хотел сначала. Насилил - слишком большой объем. Хотя один сайт так отреверсил, но там сильно проще было

Упрощеннной / мобильной версии нет

Есть какая-то херня на java, которая эмулирует браузер, скрипты, парсит dom, но ничего не рисует. Забыл как называется.

selenium

Точно.

Упрощеннной / мобильной версии нет

Попробуй зайти на сайт через linx

Посмотреть каким-нибудь фидлером запросы которые оно посылает при запросе нового контента.

Почему нельзя просто открыть в браузере панель запросов, выцепить нужные и дёргать их напрямую?

Говорит, пробовал, не получилось.

Инжектить свой js, который будет прокручивать сайт

Что конкретно не получилось? Может заголовков каких не хватает.

Не вижу запросов вообще. Смотрю через инструменты разработчика. Когда открыта страница идут запросы только на mc.yandex.ru (вроде так, ща не за компом), причём в теле ответа ничего ясного

Да не может быть такого. Оно же их грузит откуда-то.

mc.yandex.ru

Это зонд, там ничего интересного не будет.

Нафига, если селениумом можно пробел жамкать.

магия в треде! фильтр типа запросов не забыл переключить случаем?

Да не может быть такого. Оно же их грузит откуда-то.

Там, наверное, websockets. Тогда только 1 upgrade запрос будет показываться.

Там веб-приложение на Ангуляре, тонна кода. А эти websockets как-то отловить и сымитировать реально?

Да, вебсокеты, поставил плагин в Firefox - вижу вот такую абракадабру:

http://prnt.sc/ekcauq

Что с этим делать?

найти обработчик принятых событий в коде и посмотреть, что он с этими бинарниками делает. наверняка декодирует. а там видно будет, что с этим делать дальше.

а дальше любой клиентской либо симулировать. только бери готовую, писать ее самому то еще удовольствие..

з.ы. хром имеет встроенное средство для отладки вебсокетов, возможно оно более функционально.

WebSocket Monitor? Он пока только в латиницу умеет: https://github.com/firebug/websocket-monitor/issues/66 Полагаю, поэтому на месте Query String - трэш, как будто это бинарное значение.

Да, оно) Спс, попробую хром

А в хроме вообще ничего не вижу - ни одного запроса
чеза?

https://raw.githubusercontent.com/byaka/share/master/Снимок экрана от 2017-03...

внимание на кнопочку [WS]

Очевидно прокручивать окно в фантоме. Да, он умеет.

Так и пользовался, видно только от googleapi

А в Firefox их куча