AIクローラチェッカー
どの AI クローラー (GPTBot、ClaudeBot、PerplexityBot など) がサイトにアクセスできるかを確認し、robots.txt ルールを解析し、共通クロール アーカイブのステータスを確認します。
よくある質問
AIクローラーとは何ですか?
AI クローラーは、AI 企業 (OpenAI、Anthropic、Google など) のボットであり、サイトを訪問してモデルや AI 検索機能にフィードを提供します。 GPTBot は ChatGPT トレーニングをフィードし、OAI-SearchBot は ChatGPT の Web 検索をフィードします。
AI クローラーをブロックする必要がありますか?
それはあなたの目標によって異なります。元のコンテンツを AI トレーニングから保護するためにブロックします。 AI の回答で自分のサイトを引用したい場合は許可してください。AI 検索エンジンは実際のトラフィック ソースになりつつあります。
私のサイトは GPTBot に 200 を返すのに、ChatGPT に参加していないのはなぜですか?
HTTP 200 が返されるということは、クローラーが技術的にページをフェッチできることを意味します。 AI の回答で引用されるには、AI がコンテンツの関連性を判断する必要もあります。これは、別の、より時間のかかるプロセスです。
チェッカーはどのようにクローラーをテストしますか?
サイトの robots.txt を取得して権限のあるルールを読み取り、各クローラーの実際のユーザー エージェント文字列を使用してホームページを調査します。共通のクロール ステータスは、パブリック インデックス API からクエリされます。
サイトがユーザー エージェントではなく IP でブロックしたらどうなるでしょうか?
一部の WAF (Cloudflare Bot Management など) は、ユーザー エージェントに関係なくデータセンター IP をブロックします。私たちのプローブはCloudflareのエッジから実行されるため、そのようなブロックはタイムアウトとして表示される可能性があります。結果をアドバイスとしてマークし、信頼できるシグナルとしてrobots.txtに依存します。