LINUX.ORG.RU

bash запрос к сайту с выполнением js

 , ,


1

2

Всех приветствую. Bash изучаю недавно.

Прошу подсказки, а именно на какие команды смотреть. Задача: есть 18 сайтов, необходимо на все их зайти «раз в 40 минут по cron», при этом передать параметры вида:

GET /test.html HTTP/1.1\n"; Referer: localhost.com\n"; User-Agent: Google chrome\n";

Но при этом, надо чтобы отработали и JS коды. Думаю нужно использовать браузер. Ставлю например гугл хром

sudo wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm sudo rpm -ivh google-chrome-stable_current_x86_64.rpm

также я понимаю, что без браузера врятли JS будет работать, значит будем работать через него. Нам ведь ненужен html страницы, нам нужно только сделать запрос на нее, и чтоб отработал JS. Соответственно стартуем браузер в фоновом режиме &, но опять не понятно - как туды передать параметры, как потом закрыть когда он отработает, как я узнаю что он не завис, чтоб его kill принудительно.

хотя бы накидайте список команд, которые нужно будет использовать. Сам код не прошу :)

Общая суть: обращаться к Н количеству сайтов с отработкой JS по времени, при этом очищать память чтоб не засорялась и не висели зависшие процессы браузера.

нам нужно только сделать запрос на нее, и чтоб отработал JS

Может лучше посмотреть что делает жс? Или уж совсем ленивый способ это использовать noesis в C#.
По предложенному способу конечно можно, погугли какие аргументы поддерживает выбранный тобой браузер.

ritsufag ★★★★★ ()
Ответ на: комментарий от Kilte

Порой бывает код слишком объёмный/обфусцированный и подобный «оверхед» тоже вариант.

ritsufag ★★★★★ ()

Сначала можно потыкать в сторону elinks - вдруг его «поддержки» js хватит. Потом firefox + remote-control: открывает локальный порт, пишешь: echo "document.location = 'http://<site>'" | netcat -q 1 localhost 32000, или uzbl, как советуют выше - туда команды через socat кидать. Следующая ступенька ide-шный подход: seleninum, со стороны библиотек: webkit.

anonymous ()

Правильно все сказали: PhantomJS. Можно еще попробовать ZombieJS, он шустрее. Для автоматизации побегушек по сайтам юзай CasperJS (в нем больше сахара).

noomorph ()
Ответ на: комментарий от Kilte

fi поясню для чего я это делаю. На сайтах у меня размещает народ ссылки и статьи. Но также я хочу ввести и поведенческий фактор. Переходы со статьи на сайт рекламодателей. Но нужно максимально эмитировать поведение людей,и чтоб счётчики и метрики всякие отрабатывали. Какие js у них там размещены само сабой хз.

GramiL ()
Ответ на: комментарий от noomorph

Да мне ещё нужна оптимизация. Ведь количество сайтов постоянно растёт

И возможно в будущем необходимо будет заходить на 100,1000,10 000, 100 000, 1000 000 сайтов )))

GramiL ()

Вы - зло. Из за вас вместо длинны окружности в интернете находишь только длину члена, и енлардж ё пенис. Кто ему поможет - в следующей жизни переродится 20ти сантиметровым трепангом.

ovax ★★★ ()
Ответ на: комментарий от GramiL

fi поясню для чего я это делаю.

Я, еще прочтя топик, понял, что ты накрутчик. Нормальным людям практически всегда достаточно wget и curl.

На сайтах у меня размещает народ ссылки и статьи. Но также я хочу ввести и поведенческий фактор. Переходы со статьи на сайт рекламодателей.

Обманываешь людей, имитируя неоказанную услугу. Мошенничество в чистом виде.

Но нужно максимально эмитировать поведение людей,и чтоб счётчики и метрики всякие отрабатывали. Какие js у них там размещены само сабой хз.

А еще ты понижаешь ликвидность всего рынка. Стало быть, лишаешь заслуженной прибыли честных вебмастеров. Геть!

Bagrov ★★★★★ ()
Ответ на: комментарий от ovax

Из за вас вместо длинны окружности в интернете находишь только длину члена

Это претензии не к SEO, это яндекс отслеживает запросы пользователей, и меняет топ индивидуально под его потребности выводя на первые места сайты которые чаще всего посещаешь. У меня по данному запросу окружности, вывод можете сделать Сами )

GramiL ()
Ответ на: комментарий от anonymous

seo-шники ничем не лучше

Благодаря SEO, поисковая выдача, понятна и распределена по большому количеству запросов, да и Вы бы врятли нашли бы этот форум без SEO.

Прежде чем обвинять, что то - подумайте, а не благодаря им/ему вы чем либо пользуетесь и что либо нашли.

Только SEO в данный момент строит интернет, дает толчку на развитие ПС. И прочее. Да и я думаю что ПС не настолько тупы чтобы создавать даже сервисы для сео, а создают, значит понимаю.

GramiL ()
Ответ на: комментарий от Bagrov

Я, еще прочтя топик, понял, что ты накрутчик. Нормальным людям практически всегда достаточно wget и curl.

Я бы не заморачивался, если б ПС не вводили бы «Поведенческий фактор», который влияет на выдачу. А где новые сайту будут брать посетителей, если сайт то новый и о ном некто не знает?

Обманываешь людей, имитируя неоказанную услугу. Мошенничество в чистом виде.

С чегой то вдруг??? им нужно чтобы были переходы по ссылке со странице, это увеличивает ее вес, а как следствие повышение в пользу рекламодателя.

А еще ты понижаешь ликвидность всего рынка. Стало быть, лишаешь заслуженной прибыли честных вебмастеров. Геть!

Какую еще ликвидность? Я своим палки в колеса не вставляю, если у них есть возможность что то сделать, пусть делают. То что я могу сделать я делаю. И я такой же честный веб мастер и сеошник.

Это программа, программисты пишут программы, если кому то не нравится что это программа делает, дак сделайте против нее защиту.

Кстати идея у меня появилась, когда размещая статьи на Miralinks заметил у них возможность заказывать переходы со статьи. Которые весьма интересно работают.

GramiL ()
Ответ на: комментарий от GramiL

яндекс отслеживает запросы пользователей, и меняет топ индивидуально под его потребности выводя на первые места сайты которые чаще всего посещаешь.

как Яндекс может узнать — какие сайты посещаются людьми реже и какие сайты чаще?

хочешь ли ты сказать что web-браузер «стучит» Яндексу о том что я защёл на <тот-или-иной> сайт?

а если web-браузер не «стучит» — то как тогда Яндекс сможет узнать? от кого? :-)

user_id_68054 ★★★★★ ()
Ответ на: комментарий от user_id_68054

Запоминает предыдущие посещения. анализирует, хранит историю и т.п.

Мне как php программисту бузе проблем отследить поведение пользователя на сайте и выдавать ему инфу исходя из его пожеланий и предпочтений (а их мы узнаем из анализа поведения на сайта). У яндекса, тоже что то в этом духе, но скорее всего более продвинуто.

тема в любом случаи не от этом. сейчас изучаю весь материал который привели выше. как решу задачу, а я ее решу, так выложу сюда инфу «Не пошаговую, а общую само собой», хочешь кататься умей и саночки возить.

GramiL ()
Ответ на: комментарий от GramiL

Запоминает предыдущие посещения. анализирует, хранит историю и т.п.

задам тогда более конкретный вопрос — откуда Яндекс знает насколько сильно являетя популярным сайт www.linux.org.ru ?

как Яндекс может хранить какую-то там историю чего-то там — если у Яндекса даже нет информации о том какой челвоек смотрит какие сайты? :-)

user_id_68054 ★★★★★ ()
Ответ на: комментарий от user_id_68054

если у Яндекса даже нет информации о том какой челвоек смотрит какие сайты? :-)

Ошибаетесь. Есть куки, сессии и т.п. есть БД, если Вы не заметили то при переходе на сайт из ПС, вы попадаете на страницу редиректа, где учитывается и количество переходов и т.п. в том числе и историю запоминает.

откуда Яндекс знает насколько сильно являетя популярным сайт www.linux.org.ru ?

Тут как рас токи вопрос SEO. Учитывает и переходы и заходы с других сайтов проверяя статистики и т.п. это все и будет относиться к Поведенческим фактором, также тут учитывается и внешние факторы. Это ссылающиеся сайты, статьи и т.п. И яндекс прекрасно понимает, что является форумом, что сайтом, а что порталом.

как Яндекс может хранить какую-то там историю чего-то там

точно также, как на сайтах вы видите рекламу яндекс директа или гугла, где высвечиваются сайты по Вашим прежним запросам.

Сори, но я тут немного для других целей, нежели обучать и погружать Вас в дебри SEO и работы Web приложений и ПС.

GramiL ()
Ответ на: комментарий от user_id_68054

Яндекс.Метрика стоит на огромном количестве сайтов, она не только собирает статистику посещенных тобою сайтов, она стучит в яндекс координатами мыши при клике на страницу. Яфшоке был когда увидел.

NeverLoved ★★★★★ ()
Ответ на: комментарий от GramiL

и заходы с других сайтов проверяя статистики

Насколько я понимаю, заходы с других сайтов можно проверить только по утечкам из браузеров или если на sourсe-сайте установлена какая-то метрика или другая приблуда, отсылающая ПС поведение пользователя?

anonimous ()

Да, кстати, а как решается вопрос IP? Прокси использовать надо?

anonimous ()
Ответ на: комментарий от GramiL

А, сеошник. Я думал, тебе кликер нужен. Извини, беру свои слова обратно.

На самом деле, поисковое ранжирование - система с положительной обратной связью. Лучше позиция - больше просмотров. Больше просмотров - лучше позиция. Если сайт годный, ломать порочный круг даже полезно.

Bagrov ★★★★★ ()

Вроде бы JS может и без браузера работать.

sT331h0rs3 ★★★★★ ()
Ответ на: комментарий от Bagrov

А какая разница, в конечном итоге? В одном случае, он, скликивая, гребет бабло напрямую у рекламного сервиса, а в другом, у поисковика, который расчитывает на корректную работу своих алгоритмов. Каждый сайт, который занимается черной оптимизацией в конечном итоге наносит урон поисковой системе, которую он на*бал. Кроме того, страдают «честные реламодатели» и «честные сеошники», чьи места в выдаче будет занимать гипотетический черный «выскочка». Все относительно в этом мире. Другой вопрос, что залезть в карман к буржую может и не впадлу для робин гуда, но, в любом случае, пострадает куча вовлеченных лиц.

anonimous ()

кстати, чувак
тебе правильно сказали - толк с твоих переходов, если число уников не будет расти?

ii343hbka ★★★ ()
Ответ на: комментарий от GramiL

Сори, но я тут немного для других целей, нежели обучать и погружать Вас в дебри SEO и работы Web приложений и ПС.

сеошники не часто заходят на этот форум (linux.org.ru) — поэтому и спросил, раз уж такая возможность появилась :-)

ну или если заходят — то как-то стыдятся называь себя сеошником..

я поинтересовался — так как на Сёрчэнджайне поголовная размещена псевдоинформация, а люди верят всему этому как какойто религии :)

> откуда Яндекс знает насколько сильно являетя популярным сайт www.linux.org.ru ?

Тут как рас токи вопрос SEO. Учитывает и переходы и заходы с других сайтов проверяя статистики и т.п. это все и будет относиться к Поведенческим фактором, также тут учитывается и внешние факторы. Это ссылающиеся сайты, статьи и т.п. И яндекс прекрасно понимает, что является форумом, что сайтом, а что порталом.

поведенческий фактор — это миф. нет его.

Яндекс-метрика не на всех сайтах. и в основном на хороших (качественных) сайтах как раз Яндекс-Метрики нет. на сайтах-визитках любят Яндекс-Метрику вставлять (как раз из-за сео-религии :)).

какой ещё друго источник кроме Яндекс-Метрики может учитывать поведенческий файтор?

переходы с поисковой системы? глупости.. :-)

на популярные сайты заходят в основном из закладок\адресной-строки — зачем тут может понадобиться поисковая система, в случае когда человек знает куда хочет зайти..

но конечно часть трафика заходят +и из поисковой системы — но Яндекс-то может отследить только тот факт что «какой я сайт подставляю в выдачу — туда и заходят» (и это не является поведенческим фактором).

user_id_68054 ★★★★★ ()
Ответ на: комментарий от user_id_68054

какой ещё друго источник кроме Яндекс-Метрики может учитывать поведенческий файтор?

Браузеры и вирусы.

anonimous ()
Ответ на: комментарий от user_id_68054

но конечно часть трафика заходят +и из поисковой системы — но Яндекс-то может отследить только тот факт что «какой я сайт подставляю в выдачу — туда и заходят» (и это не является поведенческим фактором).

Является. Ты защел на сайт и быстро вернулся назад в ПС и дальше кликаешь по другим ресурсам и по тому же запросу — значит ты не нашел, то, что искал. Это самый примитивный сценарий, наверняка там есть покруче.

anonimous ()
Ответ на: комментарий от anonimous

Ты защел на сайт и быстро вернулся назад в ПС и дальше кликаешь по другим ресурсам и по тому же запросу — значит ты не нашел, то, что искал.

абсолютно ни чего не значит это. :-)

некоторые люди любят сразу открывать много вкладок и там уже листать.

другие люди любят почитать всё на одном сайте, а потом ещё и поискать дополнительный материал.

мне самому нравится пооткрывать несколько сайтов с инфой, и потом комфортно почитать.

все эти сказки про «поведенческий фактор» — Яндекс рассказывает для того чтобы запутать сеошников.. (ну или не Яндекс расказывает это, а сами сеошники друг другу.. кто там вообще первоисточник этих баек?:))

Это самый примитивный сценарий, наверняка там есть покруче.

слишком мало информации поступает в Яндекс, для того чтобы Яндекс мог бы сделать какой-то вывод о «поведении пользователя»..

тут как не изошряйся, а если инфы нет, то значит её нет :-) ..

чудес не бывает.

(Яндекс-метрика смогла бы исправить ситуаци, если бы она была бы на каждом сайте :))

user_id_68054 ★★★★★ ()
Ответ на: комментарий от anonimous

Причем тут вкладки?

когда в Яндекс-Поиске щёлкаешь на ссылку в выдаче — то открывается новая вкладка..

вот поэтому :-)

user_id_68054 ★★★★★ ()
Ответ на: комментарий от anonimous

ну и то что у Яндекса есть информация лишь только о том что я открыл некую вкладку с сайтом из выдачи (конечно я её открыл — ведь Яндекс мне её подсунул, поэтому я и открыл --- это бесполезная инфа для Яндекса)...

...но нет ни какой информации о том чем я занимаюсь на этой вкладке (или быть может вообще я не занимаюсь там ни чем, и даже не читаю что там) --- а это была БЫ как раз полезная инфа для Яндекса..

user_id_68054 ★★★★★ ()
Ответ на: комментарий от anonimous

Да вкладка тут не причем. Яндекс получает от тебя только запросы.

ды в том то и дело что ни фига Яндекс от меня не получает.

всё что он от меня может получить это только инфу о том «чего я хочу найти»..

Яндекс понятия не имеет:

  • нащёл ли я то что я хотел.
  • оказались ли сайты для меня поезными, которые он показал.
  • как много времени я торчу на том или ином сайте (за исключением сайтов с Яндекс-Метрикой).
  • какие сайты являются популярными (для меня и для остальных людей).

нет ни какого «поведенческого фактора» для Яндекса. есть только «внешние факторы» и «контент».

user_id_68054 ★★★★★ ()
Последнее исправление: user_id_68054 (всего исправлений: 1)
Ответ на: комментарий от anonimous

но не хочу развивать эту мутную тему.

тема действительно мутная.. это я и хочу сказать — да :-)

user_id_68054 ★★★★★ ()
Ответ на: комментарий от user_id_68054

о том что я открыл некую вкладку

Яндекс в курсе этого лишь потому, что он сам же и принуждает тебя из загруженного тобой документа, открывать содержимое в новой вкладке. Строго говоря, если ты самовольно откроешь ссылку в той же вкладке, он в курсе этого не будет. Другой вопрос, что ссылка на тот ресурс, что ты открываешь, идет не напрямую, а через редирект...

anonimous ()
Ответ на: комментарий от anonimous

Строго говоря, если ты самовольно откроешь ссылку в той же вкладке, он в курсе этого не будет.

боюсь что это у меня не получится :-) .. но это совершенно не важно.. да.

Другой вопрос, что ссылка на тот ресурс, что ты открываешь, идет не напрямую, а через редирект...

да. я понял. поэтому Яндекс знает что я открываю некий сайт из выдачи Яндекса.. (просто я говорю о том что знает-то он знает — но это «знание» бесполезно :) .. ведь Яндекс сам предложил мне открыть сайт, вот я и открыл)

user_id_68054 ★★★★★ ()
Ответ на: комментарий от anonimous

Разница - нет мошенничества. Как следствие, не страдают рекламодатели, не страдают честные владельцы рекламных площадок, вынужденные терпеть более низкие ставки. То есть, вред, если он есть, заведомо меньше.

А если раскручивать хороший сайт, то пользы даже больше. Есть масса говна мамонта, которое заслужило высокую посещаемость только за седые муде. По-человечески это справедливо: люди трудились еще в девяностые, заслужили высокую репутацию. Для пользователя же при прочих равных нет разницы, сколько лет конкретному сайту.

Я считаю презумпцию невиновности хорошим принципом, поэтому не вижу смысла наезжать на ТС. Мне неизвестно, является ли его сайт поисковым мусором.

Bagrov ★★★★★ ()
Ответ на: комментарий от GramiL

это яндекс отслеживает запросы пользователей, и меняет топ индивидуально под его потребности выводя на первые места сайты которые чаще всего посещаешь.

У тебя не получится накрутить яндекс, поверь на слово.

xtraeft ★★☆☆ ()
Ответ на: комментарий от user_id_68054

Даже из того что он имеет в этом, описанном тобой «идеальном» случае, можно извлечь некоторую информацию о поведении. На практике все прозаичней. Браузеры отправляют информацию о поведении пользователя в ПС. Это, разумеется, не касается какого-нибудь бсдшного x-терма, или curl, но в остальных случаях это так. Даже если скачанный юзером браузер без шпионов, он их сам доустановит по ходу пьесы разными плагинами и yandex-софтом, вроде punto-switcher'а. Так что практически у них все есть.

anonimous ()
Ответ на: комментарий от GramiL

Тут как рас токи вопрос

Как ты умудрился это написать?

xtraeft ★★☆☆ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.