Gerador robots.txt
Gere um robots.txt com reconhecimento de rastreador de IA: permita GPTBot, ClaudeBot, PerplexityBot e amigos enquanto mantém o controle sobre caminhos confidenciais.
Perguntas frequentes
Quais rastreadores de IA estão incluídos?
GPTBot e OAI-SearchBot (OpenAI), ClaudeBot e Claude-SearchBot (Anthropic), PerplexityBot, Google-Extended (treinamento Gemini), CCBot (Common Crawl), Bytespider (ByteDance), DeepSeekBot, Meta-ExternalAgent e muito mais.
Qual é a diferença entre bloquear treinamento e IA de pesquisa?
Os bots de treinamento (GPTBot, ClaudeBot, Google-Extended) coletam conteúdo para treinar modelos. Os bots de IA de pesquisa (OAI-SearchBot, PerplexityBot, Claude-SearchBot) buscam páginas para citá-las em respostas ao vivo. Bloquear a IA de pesquisa remove totalmente as respostas da IA.
Permitir rastreadores de IA prejudicará meu SEO?
Não. Os rastreadores de IA são separados do Googlebot. Permiti-los não afeta sua classificação no Google – apenas decide se ChatGPT, Perplexity e amigos podem ler e citar você.
Por que existe uma linha User-Agent para cada bot?
robots.txt corresponde às regras por agente de usuário. Listar explicitamente cada bot é a única maneira confiável de controlar o acesso por mecanismo; uma única regra curinga pode ser ignorada por alguns rastreadores.
Onde coloco esse arquivo?
Na raiz do seu domínio, exatamente em /robots.txt. A maioria dos hosts permite fazer upload diretamente; verifique com nosso AI Crawler Checker posteriormente.