ip адреса поисковых ботов

1. https://support.google.com/webmasters/answer/80553

2. http://help.yandex.ru/webmaster/robot-workings/check-yandex-robots.xml#robot-...

Файл для роботов не предлагать, я сомневаюсь что гугл не парсит сайт при наличии запрета в этом файле

И Гугл, и Яндекс честно реагируют на roots.txt, проверено. Если, конечно, речь о нагрузке на сайт и об отсутствии результатов в выдаче. Если тебе важно, чтобы вообще чужие не ходили, то уже нормально закрывать надо сайт, или авторизацией или разрешая ходить только с конкретных IP.

Раз уж не веришь в честность поисков- анализируй логи. Парсь скриптом, кто читал robots.txt, и заноси ИПшники в свою базу.

вдруг это поможет

А вот не знаю. Я хочу наоборот гугл бота разблокировать. Но сам гугл пишет, что разрешайте по user-agent'у и что список ip адресов гугл бота не предоставляют просто так. Но любой может замаскироваться под гугл бота.

И Гугл, и Яндекс честно реагируют на roots.txt, проверено. Если, конечно, речь о нагрузке на сайт и об отсутствии результатов в выдаче.

о нагрузке на сайт и об отсутствии результатов в выдаче

На домене третьего уровня четвёртый месяц боты яндекса получают 404-ую на любой запрос. В robots.txt указан запрет на индексацию всего сайта. Сайт физически там уже не находится.

//Гугл ушёл на второй неделе.

http://en.wikipedia.org/wiki/Reverse_DNS_lookup