Googleからのアクセスを見極める

アクセスログを見ているとUser-AgentにGooglebotを自称するアクセスが頻繁に見受けられます。しかし、User-Agent（UA）は容易に偽装が可能なため、これだけで本物のGooglebotであると断定することはできません。

本物のクローラーを装った悪質なbot（スクレイパー等）を遮断しつつ、正規のクローラーを確実に受け入れるための判別方法を解説します。

1.GoogleのIPアドレス分類

GoogleのIPアドレスはその役割（クローラー、クラウドサービス、一般利用者向け）ごとに分類されており、対応するIPアドレス範囲が公式に公表されています。

ただし、一部のIP範囲は役割が重複している点に注意が必要です。

例えば「34.100.182.96」は、公式JSON上で「Googlebot」として定義されていますが、同時に「Google Cloud (GCP)」のネットワーク内でもあります。UAが正規のGooglebotでない場合、このIPは一般のクラウド利用者によるアクセスを意味します。

IPをクリックするとJ-sta.comで帰属詳細を調査できます。

Googlebot	検索インデックス作成のためにサイトを巡回する正規クローラーです。検索結果の表示順位に影響するため、ブロックには注意が必要です。例： 34.100.182.96 66.249.65.160
Specialized Google Crawlers	広告（AdsBot）や画像・動画検索など、特定のGoogleサービスを最適化するために巡回する専用のクローラーです。例： 108.177.2.1 66.249.90.128
User-initiated Fetchers	Google翻訳、Gemini、サイト所有者が実行するデバッグツールなど、ユーザーの操作が起点となるリクエストです。例： 35.243.16.64 107.178.202.96
Google Public IP Ranges	Google自身が自社サービス運営やインフラ維持に使用する広範なIPレンジです。例： 34.100.182.96 8.8.8.8
Google Cloud (GCP)	Google Cloudの一般利用者がサーバーとして使用するIPです。ここから「Googlebot」を名乗るアクセスがある場合、多くはクローラーを装った攻撃やスクレイピングです。例： 34.100.182.96 34.128.62.1

IPアドレスの分類だけでは偽装を完全に見抜けない場合があります。Googleが公式に推奨している最も確実な手順は、「逆引きDNS（PTR）」による検証です。

1. アクセス元IPを逆引きし、ホスト名が .googlebot.com または .google.com であることを確認。
2. そのホスト名を正引きしてIPを求め、元のIPと完全に一致するか確認。

これにより、ドメインの所有権がGoogleにあることを技術的に証明でき、第三者による「なりすまし」を100%排除できます。

正規の可能性が高い（許可推奨）
User-Agent: Googlebot
IP: Googlebotレンジ
逆引き結果: *.googlebot.com

偽装の可能性が高い（要注意）
User-Agent: Googlebot
IP: Google Cloud (GCP)
逆引き結果: Google関連ドメインではない

偽装確定（ブロック推奨）
User-Agent: Googlebot
IP: 一般プロバイダ・海外ホスティング等
逆引き結果: なしまたは外部ドメイン

1. User-Agent を確認し、Googlebotを自称しているか見る

2. IPアドレス を確認し、Google公式のIPリストに含まれるか照合する

3. 逆引きDNS を実行し、ホスト名がGoogle公式ドメインか確認する

4. 正引き による再検証を行い、IPの完全一致を確認する

5. 上記を総合し、偽装であればアクセス制限（WAFや.htaccess）を検討する