googlebot ломится на страницу авторизации пользователя сайта

Это значит что надо настроить robots.txt, чтоб бот знал куда не ломиться

Да, сайт еще не настраивался, в том числе и robots.txt .
Можно в двух словах - что именно ему не нравится на этой странице, зачем запрещать ботам обход страниц авторизации?

Это может означать, например, что это никакой не гуглбот а поделие нехороших людей.

А что интересного может быть на странице авторизации?

По информации от 2ip.ru - googlebot

https://support.google.com/webmasters/answer/80553?hl=en

Так проверял?

Понятно, что в индексе сайта эта страница никому не нужна.
Но что гуглботу нужно от этой страницы? Зачем он ее долбит?

возможно при открытии страниц где требуется авторизация стоит пере адресация на форму ввода имени и пароля?

Нет, так не проверял.
Спасибо за ссылку, завтра проверю.

Возможно. Сейчас нет сайта под рукой - завтра гляну.
Спасибо за идею.

Кстати, забыл сказать, что у меня была ситуация когда подобные 'гуглботы' досили один сайтик, благо они были кривыми и запущены с одной подсети (или даже ip, точно не помню).

Вероятнее всего, бот встречает ссылки на странице, где требуется аутентификация пользователя, и его редиректит на страницу входа.

Чтобы этого не было, ставь таким ссылкам rel=nofollow и в роботс ничего писать не потребуется.

Чтобы этого не было, ставь таким ссылкам rel=nofollow и в роботс ничего писать не потребуется.

С таким указанием Гуглобот не будет учитывать ссылку в pagerank'ах, но ходить по ней это ему не запретит. Запретить можно только в robots.txt

Во всех остальных случаях ходить будет всюду, даже по генерируемым через JS ссылкам, «прикидываясь» нормальным браузером.

Во всех остальных случаях ходить будет всюду

Не стоит быть столь категоричным :)

Если верить документации, то гуглобот как раз не должен ходить по ноуфоллоу, хотя когда я проводил эксперименты, он то ходил, то нет. Поведение бота меняется часто, впрочем.

Мой пойнт в том, что закрывать форму логина от ботов, пожалуй, не стоит. А если причина частого захода на эту страницу в большом количестве «закрытых» ссылок, то ноуфоллоу почти наверняка поможет. Ну или в сайтмапе можно указать, что эта страница меняется нечасто и имеет низкий приоритет.

Не стоит быть столь категоричным :)

Просто у меня практика, так сказать :) Ходит.

А если причина частого захода на эту страницу в большом количестве «закрытых» ссылок, то ноуфоллоу почти наверняка поможет.

Всё равно robots.txt для этого лучше работает. Его игнорируют только совсем левые боты. Я так на такие часто прямо ловушку ставлю. В тексте страницы запретная скрытая ссылка, а в robots.txt указано Disallow. Кто сунулся — ССЗБ. Кстати, порой так палятся боты, прикидывающиеся обычным браузером.

Я так на такие часто прямо ловушку ставлю. В тексте страницы запретная скрытая ссылка, а в robots.txt указано Disallow. Кто сунулся — ССЗБ. Кстати, порой так палятся боты, прикидывающиеся обычным браузером.

о, спасибо за идею

А мне кстати всегда было интересно, насколько поумнели боты, собирающие почтовые адреса (они у меня обфусцированы с помощью java, и тупой бот не сможет его прочитать). Хотя можно конечно в изображение засунуть.