クローラが本当に Googlebot かを確認する方法

サーバーにアクセスしているボットが、本当に Googlebotかを確認できます。
DNS リバース ルックアップを使用して googlebot.com ドメインに名前があることを確認。
その Googlebot の名前を使用して DNS フォワード ルックアップをします。
スパム発信者が Googlebot と偽ってサイトにアクセスする場合に有効です。

たとえば次のように記述します。

> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer
crawl-66-249-66-1.googlebot.com.

> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Google では、ウェブマスター向けホワイトリストの IP アドレスの公開リストを掲載していません。
これは IP アドレス範囲が変更する可能性がある為です。
アドレスを直接入力したウェブマスターにとって問題が生じるからです。
Googlebot のアクセスを確認する最も確実な方法は、Googlebot を使用することです。