LINUX.ORG.RU

bash запрос к сайту с выполнением js

 , ,


1

2

Всех приветствую. Bash изучаю недавно.

Прошу подсказки, а именно на какие команды смотреть. Задача: есть 18 сайтов, необходимо на все их зайти «раз в 40 минут по cron», при этом передать параметры вида:

GET /test.html HTTP/1.1\n"; Referer: localhost.com\n"; User-Agent: Google chrome\n";

Но при этом, надо чтобы отработали и JS коды. Думаю нужно использовать браузер. Ставлю например гугл хром

sudo wget https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm sudo rpm -ivh google-chrome-stable_current_x86_64.rpm

также я понимаю, что без браузера врятли JS будет работать, значит будем работать через него. Нам ведь ненужен html страницы, нам нужно только сделать запрос на нее, и чтоб отработал JS. Соответственно стартуем браузер в фоновом режиме &, но опять не понятно - как туды передать параметры, как потом закрыть когда он отработает, как я узнаю что он не завис, чтоб его kill принудительно.

хотя бы накидайте список команд, которые нужно будет использовать. Сам код не прошу :)

Общая суть: обращаться к Н количеству сайтов с отработкой JS по времени, при этом очищать память чтоб не засорялась и не висели зависшие процессы браузера.



Последнее исправление: GramiL (всего исправлений: 3)

Ответ на: комментарий от Bagrov

На самом деле, поисковое ранжирование - система с положительной обратной связью. Лучше позиция - больше просмотров. Больше просмотров - лучше позиция.

Не совсем. Яндексу не важно количество просмотров, ему важен только факт возврата в поисковую выдачу. Все остальное - бредни :)

xtraeft ★★☆☆
()
Ответ на: комментарий от xtraeft

Яндексу не важно количество просмотров, ему важен только факт возврата в поисковую выдачу. Все остальное - бредни :)

Не исключаю. С другой стороны, больше просмотров - больше внешних ссылок. Хотя тИЦ уже ни на что не влияет, да. Но Google, насколько я понимаю, внешние ссылки все-таки учитывает.

Bagrov ★★★★★
()
Ответ на: комментарий от Bagrov

С другой стороны, больше просмотров - больше внешних ссылок

Как ты умудряешься это связывать между собой? И про какие просмотры ты тут говоришь? Переходы по ссылкам с посторонних ресурсов ПС может учитывать только засчет шпионских модулей. То есть, все переходы она учесть не может. И нет тут прямой корреляции. Если на одном ресурсе с хорошей посещаемостью стоит 1 ссылка, по ней переходов будет в 1000 раз больше, чем с тех миллионна ссылок, с ресурсов малопосещаемых.

anonimous
()
Ответ на: комментарий от anonimous

Преднамеренно вводить в заблуждение юридическое лицо в корыстных целях — это по-твоему не мошенничество?

Если верить Вики, «мошенничество — хищение чужого имущества или приобретение права на чужое имущество путём обмана или злоупотребления доверием». Не стоит профанировать юридические термины.

Фальсификация кликов по рекламе — как раз приобретение права на чужие деньги путем обмана. Сам по себе обман поисковых систем — это просто обман.

Bagrov ★★★★★
()
Ответ на: комментарий от Bagrov

Хотя тИЦ уже ни на что не влияет, да. Но Google, насколько я понимаю, внешние ссылки все-таки учитывает.

Яндекс тоже не переставал учитывать ссылки.
А тиц - следствие, а не причина.

xtraeft ★★☆☆
()
Ответ на: комментарий от anonimous

Как ты умудряешься это связывать между собой? И про какие просмотры ты тут говоришь?

Я говорю о просмотрах как физической реальности. Больше людей прочли - больше поставили ссылок. Переходы по внешним ссылкам учитывать не нужно - считаются сами ссылки при индексировании.

Bagrov ★★★★★
()
Ответ на: комментарий от anonimous

Даже если скачанный юзером браузер без шпионов, он их сам доустановит по ходу пьесы разными плагинами и yandex-софтом, вроде punto-switcher'а.

вот этот ответ — посути именно тот который я хотел бы получить..

..а именно — действительно ли SEO-шники думают будто Яндекс занимается производством и внедрением ПО класса «Malware»?

ясное дело что «Firefox-обыкновенный» — не будет заниматься шпионской деятельностью.

и если Яндекс якобы действительно учитывает «поведенческий фактор» — то в этом Яндексу могут помочь только Malware..

но делать такие смелые обвинительные заявления в сторону самой крупной европейской интернет-компании — я как бы это сказать — считаю что не так уж и разумно полагать будто Яндекс станет открыто этим заниматься (производством шпионского Malware)...

**************************************************

в чём тут основная проблема.

возмём например Skype.

ясное дело что Skype это АНБшное троянское ПО..

но тот факт что Skype является троянские ПО — доказать не так уж и просто.

потому что нет явных мотивов (а код обфусцирован — довольно профессионально).

но раз нет мотивов, то и обвинения выглядят весьма сыроватенько.. (в итоге Майкрософт официально остаются белыми и пушистыми).

а теперь возьмём Яндекс.

использует ли Яндекс ПО класса «Malware» или не использует — от этого напрямую зависит возможность бизнесса Яндекса!

мотив очевиден. (и как тогда Яндекс может оставаться белым и пушистым?)

следовательно все заявления в которых фигурируют слова: «Яндекс» и «поведенческие факторы» — ставят Яндекс в весьма неприятное положение..

user_id_68054 ★★★★★
()
Ответ на: комментарий от user_id_68054

«Яндекс» и «поведенческие факторы» — ставят Яндекс в весьма неприятное положение..

Яндекс спокойно проживет без малвары (весьма кривое определение в данном случае, кстати), потому что больше половины рунета обвешано его Метрикой и Директом.

xtraeft ★★☆☆
()
Ответ на: комментарий от Bagrov

Я имел в виду бытовое определение, с моральных позиций. А с юридической точки зрения ты и до скликивания рекламных блоков не докопаешься. Рекламодатель платит за клики, например, но сам факт скликивания еще доказать надо. Этим никто не будет заниматься на практике, слишком гемморно, проще забанить площадку. Так что, в любом случае, все упирается в здравый смысл. А кто тебе может юридически запретить кликать по картинкам, которые находятся в общем доступе? Тем более, на твоем собственном сайте? Там что бумажные договоры заключаются? Ты письменно обязуешься не накручивать?

anonimous
()
Ответ на: комментарий от anonimous

А кто тебе может юридически запретить кликать по картинкам, которые находятся в общем доступе? Тем более, на твоем собственном сайте?

кстати, на твоём собственном сайте — тебе контракт запрещает кликать на рекламу :-)

[без разницы — хочешь ли ты скликнуть, или же тебе просто интересно стало]

хотя я его давно читал.. быть может уже и поменяли его...

user_id_68054 ★★★★★
()
Ответ на: комментарий от anonimous

Я имел в виду бытовое определение, с моральных позиций.

Бытовой лексикон у всех разный. Мой не содержит слова «мошенничество», твой может содержать, ОК.

А с юридической точки зрения ты и до скликивания рекламных блоков не докопаешься. Рекламодатель платит за клики, например, но сам факт скликивания еще доказать надо. Этим никто не будет заниматься на практике, слишком гемморно, проще забанить площадку. Так что, в любом случае, все упирается в здравый смысл.

Верно. С другой стороны, практические трудности не препятствуют правовой оценке в нашем рассуждении, если факт накрутки стоит в числе логических посылок.

А кто тебе может юридически запретить кликать по картинкам, которые находятся в общем доступе? Тем более, на твоем собственном сайте? Там что бумажные договоры заключаются? Ты письменно обязуешься не накручивать?

Можно прописать запет в публичной оферте.

Bagrov ★★★★★
()
Ответ на: комментарий от xtraeft

Яндекс тоже не переставал учитывать ссылки.

Спасибо. Погуглил - и точно, большинства запросов изменение не коснулось.

А тиц - следствие, а не причина.

Следствие в онтологическом смысле этого слова может выступать причиной в логическом рассуждении.

Bagrov ★★★★★
()

Вообщем, как пример почитать можно, что яндекс все же смотрит на поведение.:

http://company.yandex.ru/researches/reports/2013/ya_search_interests_2013.xml

http://help.yandex.ru/webmaster/recommendations/user-behavior-analysis.xml

Дело не в том, во, что верить, а во что нет. Хороший SEO не верит, хороший SEO пробует. И только методом испытания на своей шкуре можно узнать, что есть, чего нету и как лучше. И как практика показывает - поведения учитываются.

Лично я не жулик, я просто тыркаю по ссылкам расположенным на моем же сайте, которые я сам же разместил. И если кто хочет за $ разместить у меня свою ссылку на которую я буду при помощи бота тыркать (об этом я говорю тем кто размещает), то пожалуйста. Мне это выгодно потому, что у меня больше народу захотят разместиться свои статьи и сайты, а вембастерам выгодно что к ним переходят. Что тут плохого?

И яндекс оочень много чего учитывает если у Вас есть куки, считайте - он знает больше чем вы думаете )) А куки есть почти у 99% этого форума. Спорить тут безполезно, так как я как программист php (вдобавок к СЕО), смагу у знать о Вас много чего и отследить поведение довольно таки весьма с четкой картиной. Что может яндекс со своими плюшками, одному ему известно...

GramiL
() автор топика
Ответ на: комментарий от GramiL

И яндекс оочень много чего учитывает если у Вас есть куки

Еще раз повторяю: с такими знаниями, хер ты накрутишь «поведенческие факторы» (которые - тот еще миф).

xtraeft ★★☆☆
()
Ответ на: комментарий от xtraeft

хер ты накрутишь «поведенческие факторы»

У меня знаний достаточно, да и я не собираюсь накручивать себе что то. А вот веб мастеры пожалуйста.

Представь себе, у вебмастера размещено 10 000 статей, и раз в пару дней с каждой статьи идет переход на его сайт - как думаешь, накрутиться поведение? а если этот юзер еще и начнет тыкать по ссылкам на сайте, хотя бы 2-3?

Меня оскорблять ненужно, если есть спрос - есть и предложение. Если вы сильнее меня в *unix - то почему бы не помочь? Я знаю, что я знаю - а Вы?

GramiL
() автор топика
Ответ на: комментарий от GramiL

У меня знаний достаточно

Судя по твоим вопросам - недостаточно. По крайней мере для того, чтоб накрутить яндекс :)

xtraeft ★★☆☆
()
Ответ на: комментарий от GramiL

Если вы сильнее меня в *unix - то почему бы не помочь? Я знаю, что я знаю - а Вы?

Я знаю что без нормальных соксов и нормальной эмуляции и закоса под человека твоя идея обречена на провал.
И кстати, ты не первый такой умный - сервисы для этого уже существуют.
А ты со своим башем нихрена не сделаешь толкового.

xtraeft ★★☆☆
()

В общем, запрос получилось дать на сайт. Все хорошо и параметры передал и JS отработал. Но есть проблема!

Запускаю php код на распознания referer - показывает заданный все гуд. Захожу в статистику хоть от mail хоть метрика, показывает что был вход, а значит JS отработал, но куда то потерялся referer - пишет что был прямой запрос.

Есть идеи, что это может быть, и как бороться ? ))

GramiL
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.