robots.txt 生成器
生成 AI 爬虫感知的 robots.txt：放行 GPTBot、ClaudeBot、PerplexityBot 等，同时保持对敏感路径的控制。
常见问题
包含哪些 AI 爬虫？
GPTBot 和 OAI-SearchBot（OpenAI）、ClaudeBot 和 Claude-SearchBot（Anthropic）、PerplexityBot、Google-Extended（Gemini 训练）、CCBot（Common Crawl）、Bytespider（字节）、DeepSeekBot、Meta-ExternalAgent 等。
屏蔽训练型与搜索型 AI 有什么区别？
训练爬虫（GPTBot、ClaudeBot、Google-Extended）抓取内容用于训练模型。搜索型 AI 爬虫（OAI-SearchBot、PerplexityBot、Claude-SearchBot）抓取页面用于在实时回答中引用。屏蔽搜索型 AI 会让你完全从 AI 回答中消失。
放行 AI 爬虫会影响 SEO 吗？
不会。AI 爬虫与 Googlebot 是分开的。放行它们不影响 Google 排名——只决定 ChatGPT、Perplexity 等能否读取和引用你。
为什么每个爬虫单独一行 User-agent？
robots.txt 按 user-agent 匹配规则。逐个显式列出每个爬虫是按引擎控制访问的唯一可靠方式；单一通配符规则可能被部分爬虫忽略。
文件放哪里？
放在域名根目录，路径恰好是 /robots.txt。大多数主机支持直接上传；之后可用我们的 AI 爬虫检测器验证。