robots.txt ジェネレーター
AI クローラー対応の robots.txt を生成します。機密パスの制御を維持しながら、GPTBot、ClaudeBot、PerplexityBot およびその友人を許可します。
よくある質問
どの AI クローラーが含まれていますか?
GPTBot と OAI-SearchBot (OpenAI)、ClaudeBot と Claude-SearchBot (Anthropic)、PerplexityBot、Google-Extended (Gemini トレーニング)、CCBot (Common Crawl)、Bytespider (ByteDance)、DeepSeekBot、Meta-ExternalAgent など。
ブロックトレーニングと検索AIの違いは何ですか?
トレーニング ボット (GPTBot、ClaudeBot、Google-Extended) はコンテンツを収集してモデルをトレーニングします。検索 AI ボット (OAI-SearchBot、PerplexityBot、Claude-SearchBot) はページをフェッチし、ライブ回答で引用します。検索 AI をブロックすると、AI の回答から完全に排除されます。
AI クローラーを許可すると SEO に悪影響を及ぼしますか?
いいえ、AI クローラーは Googlebot とは別のものです。これらを許可しても、Google のランキングには影響しません。ChatGPT、Perplexity、および友人があなたを読んで引用できるかどうかを決定するだけです。
各ボットにユーザー エージェント行があるのはなぜですか?
robots.txt はユーザー エージェントごとにルールを照合します。各ボットを明示的にリストすることは、エンジンごとのアクセスを制御する唯一の信頼できる方法です。単一のワイルドカード ルールは、一部のクローラによって無視される場合があります。
このファイルはどこに置けばいいのでしょうか？
ドメイン ルート、正確には /robots.txt です。ほとんどのホストでは、直接アップロードできます。その後、AI クローラー チェッカーで確認してください。