История изменений
Исправление wandrien, (текущая версия) :
Вообще, если сайт ориентирован только на русскую аудиторию, можно и гугл банить, на мой взгляд.
Оттуда всё еще приходит значимое количество посетителей, так что пока оставляем.
Но с ним другая проблема, Гугл теперь официально игнорирует rel="nofollow" и ходит по всем URL, до которых дотянется.
Учитывая этот факт вместе с тем, что от гуглобота теперь идёт бешеная посещаемость, я могу предположить, что они все свои ИИ-службы под общим UA пустили. Чтобы их так просто заблокировать было нельзя. По принципу «куда вы денетесь от монополиста».
Это вообще идиотская ситуация. Гугль, помнится, не так давно выступал за быстрый интернет и обещал пессимизировать сайты с плохой отзывчивостью, а теперь ходит и третирует эти самые сайты дополнительной нагрузкой.
Т.е. логика получилась такой: «**ки, делате быстрее сайты, чтобы наши боты по ним быстро ходили!»
Часть ссылок, которые были в rel="nofollow", мы сейчас убрали в JS-обёртку. Посмотрим, поможет ли это. Если нет, то придётся отдавать для IP-шнегов гугла модифицированный вариант страницы.
Ситуация идиотская. Допустим, у тебя на сайте есть страницы вида /сущность/ид_сущности, и ты хочешь, чтобы в поисковой выдаче они фигуривали. А бот ходит по страницам вида /сущность/ид_сущности?=параметры и /сущность/ид_сущности/что-то-еще, которые вообще для него не предназначены.
Исправление wandrien, :
Вообще, если сайт ориентирован только на русскую аудиторию, можно и гугл банить, на мой взгляд.
Оттуда всё еще приходит значимое количество посетителей, так что пока оставляем.
Но с ним другая проблема, Гугл теперь официально игнорирует rel="nofollow" и ходит по всем URL, до которых дотянется.
Учитывая этот факт вместе с тем, что от гуглобота теперь идёт бешеная посещаемость, я могу предположить, что они все свои ИИ-службы под общим UA пустили. Чтобы их так просто заблокировать было нельзя. По принципу «куда вы денетесь от монополиста».
Это вообще идиотская ситуация. Гугль, помнится, не так давно выступал за быстрый интернет и обещал пессимизировать сайты с плохой отзывчивостью, а теперь ходит и третирует эти самые сайты дополнительной нагрузкой.
Т.е. логика получилась такой: «**ки, делате быстрее сайты, чтобы наши боты по ним быстро ходили!»
Часть ссылок, которые были в rel="nofollow", мы сейчас убрали в JS-обёртку. Посмотрим, поможет ли это. Если нет, то придётся отдавать для IP-шнегов гугла модифицированный вариант страницы.
Ситуация идиотская. У тебя на сайте есть страницы вида /сущность/ид_сущности, и то хочешь, чтобы в поисковой выдаче она фигуривала. А бот ходит по страницам вида /сущность/ид_сущности?=параметры и /сущность/ид_сущности/что-то-еще, которые вообще для него не предназначены.
Исправление wandrien, :
Вообще, если сайт ориентирован только на русскую аудиторию, можно и гугл банить, на мой взгляд.
Оттуда всё еще приходит значимое количество посетителей, так что пока оставляем.
Но с ним другая проблема, Гугл теперь официально игнорирует rel="nofollow" и ходит по всем URL, до которых дотянется.
Учитывая этот факт вместе с тем, что от гуглобота теперь идёт бешеная посещаемость, я могу предположить, что они все свои ИИ-службы под общим UA пустили. Чтобы их так просто заблокировать было нельзя. По принципу «куда вы денетесь от монополиста».
Это вообще идиотская ситуация. Гугль, помнится, не так давно выступал за быстрый интернет и обещал пессимизировать сайты с плохой отзывчивостью, а теперь ходит и третирует эти самые сайты дополнительной нагрузкой.
Т.е. в логика получилась такой: «**ки, делате быстрее сайты, чтобы наши боты по ним быстро ходили!»
Часть ссылок, которые были в rel="nofollow", мы сейчас убрали в JS-обёртку. Посмотрим, поможет ли это. Если нет, то придётся отдавать для IP-шнегов гугла модифицированный вариант страницы.
Ситуация идиотская. У тебя на сайте есть страницы вида /сущность/ид_сущности, и то хочешь, чтобы в поисковой выдаче она фигуривала. А бот ходит по страницам вида /сущность/ид_сущности?=параметры и /сущность/ид_сущности/что-то-еще, которые вообще для него не предназначены.
Исходная версия wandrien, :
Вообще, если сайт ориентирован только на русскую аудиторию, можно и гугл банить, на мой взгляд.
Оттуда всё еще приходит значимое количество посетителей, так что пока оставляем.
Но с ним другая проблема, Гугл теперь официально игнорирует rel="nofollow" и ходит по всем URL, до которых дотянется.
Учитывая факт вместе с тем, что от гуглобота теперь идёт бешеная посещаемость, я могу предположить, что они все свои ИИ-службы под общим UA пустили. Чтобы их так просто заблокировать было нельзя.
Это вообще идиотская ситуация. Гугль, помнится, не так давно выступал за быстрый интернет и обещал пессимизировать сайты с плохой отзывчивостью, а теперь ходит и третирует эти самые сайты дополнительной нагрузкой.
Т.е. в логика получилась такой: «**ки, делате быстрее сайты, чтобы наши боты по ним быстро ходили!»
Часть ссылок, которые были в rel="nofollow", мы сейчас убрали в JS-обёртку. Посмотрим, поможет ли это. Если нет, то придётся отдавать для IP-шнегов гугла модифицированный вариант страницы.
Ситуация идиотская. У тебя на сайте есть страницы вида /сущность/ид_сущности, и то хочешь, чтобы в поисковой выдаче она фигуривала. А бот ходит по страницам вида /сущность/ид_сущности?=параметры и /сущность/ид_сущности/что-то-еще, которые вообще для него не предназначены.