LINUX.ORG.RU

В каком графическом и поддерживающем JS браузере можно прочитать удалённую страницу внешним скриптом?


0

0

Задача - есть сайт с хитрой JS и GUI авторизацией. Хочется после прохождения авторизации автоматом извлекать некоторые данные с некоторых страниц. Ни wget, ни lynx/etc -dump тут не подходят - из них элементарно не получается авторизоваться.

Во многих браузерах можно из скрипта открывать ссылку.

Можно ли в каком-то прочитать потом открывшуюся страницу? Гугление firefox remote не помогло.

★★★★★

спамбот пишем?

anonymous ()

Не очень понял, что такое «внешним скритом», но по-моему любой актуальный броузер в состоянии открыть любой внешний ресуср через XMLHttpRequest.

LamerOk ★★★★★ ()

Проблему решил с Оперой, экстрактором куков и wget'ом :)

KRoN73 ★★★★★ ()

curl умеет «заполнять» формы и сохранять куки в отдельном файле для последующего использования; в сложных случаях можно использовать perl и LWP::UserAgent.

AITap ★★★★★ ()
Ответ на: комментарий от AITap

>curl умеет «заполнять» формы

Как я писал выше, там в процессе авторизации требуется JS и графика (капча).

KRoN73 ★★★★★ ()
Ответ на: комментарий от KRoN73

А, вот теперь понял про графику. Ещё для firefox был плагин, который превращал Fx в telnet-сервер, с которого браузером можно было управлять.

AITap ★★★★★ ()
Ответ на: комментарий от KRoN73

Re: В каком графическом и поддерживающем JS браузере можно прочитать удалённую страницу внешним скриптом?

Проблему решил с Оперой, экстрактором куков и wget'ом :)

У файерфокса куки в sqlite базе, их оттуда удобна выковыривать

sdio ★★★★★ ()

>У файерфокса куки в sqlite базе, их оттуда удобна выковыривать

Угу. Но меня поломало скрипт самому писать, а готовый, что я нашёл, извлекал почему-то только несколько совершенно левых куков. Из Оперы же готовый бинарник вытащил всё, что нужно.

KRoN73 ★★★★★ ()
Ответ на: комментарий от KRoN73

Re: В каком графическом и поддерживающем JS браузере можно прочитать удалённую страницу внешним скриптом?

Не понял что там писать?

$ sqlite3 cookies.sqlite «select value from moz_cookies where host = 'www.linux.org.ru' and name = 'profile'»

sdio

sdio ★★★★★ ()

1.
[code]
$ sqlite3 cookies.sqlite «select value from moz_cookies where host = 'www.linux.org.ru' and name = 'profile'»
Error: database is locked
[/code]

При чём при закрытии браузера временные куки трутся. А мне нужны именно они.

2. Мне нужно не тупо извлечь любые куки, а записать их в формате cookies.txt. По этой теме - man wget

KRoN73 ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.