LINUX.ORG.RU

Как прикинутся Гугл ботом?

 , ,


0

1

Хочу видеть меньше пустых «Этот сайт требует JavaScript»
Сейчас поменял User Agent на Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) но походу сайтам пофиг. Как будто ничего и не менял.

Если не гуглом прикинутся то кем? Может уже кто то так тут делает

★★

Не пишут они googlebot в юзер агенте и в referer ничего такого. Зато много других ботов, попробуй этот:

[19/Apr/2019:05:23:40 +0300] "GET / HTTP/1.1" 200 329 "-" "Mozilla/5.0 (compatible; Nimbostratus-Bot/v1.3.2; http://cloudsystemnetworks.com)" "-"
Aber ★★★ ()

Подниму тему.
На Али стало невозможно искать без логина. При этом гугл явно индексировать может.
Вот такая вот несправедливость.

bga_ ★★ ()