Verificador de rastreador de IA
Verifique quais rastreadores de IA (GPTBot, ClaudeBot, PerplexityBot…) podem acessar seu site, analisar suas regras de robots.txt e ver o status do arquivo de rastreamento comum.
Perguntas frequentes
O que é um rastreador de IA?
Os rastreadores de IA são bots de empresas de IA (OpenAI, Anthropic, Google…) que visitam seu site para alimentar seus modelos e recursos de pesquisa de IA. GPTBot alimenta o treinamento do ChatGPT, OAI-SearchBot alimenta a pesquisa na web do ChatGPT.
Devo bloquear rastreadores de IA?
Depende do seu objetivo. Bloqueie-os para proteger o conteúdo original do treinamento de IA. Permita-os se quiser que seu site seja citado nas respostas de IA - os mecanismos de pesquisa de IA estão se tornando uma verdadeira fonte de tráfego.
Por que meu site retorna 200 para o GPTBot mas não estou no ChatGPT?
Retornar HTTP 200 significa que o rastreador pode tecnicamente buscar sua página. Ser citado nas respostas da IA também exige que a IA julgue o seu conteúdo relevante – esse é um processo diferente e mais lento.
Como o verificador testa os rastreadores?
Buscamos o robots.txt do seu site para ler as regras oficiais e, em seguida, investigamos sua página inicial com a string real do agente do usuário de cada rastreador. O status do rastreamento comum é consultado na API de índice público.
E se um site for bloqueado por IP, não por User-Agent?
Alguns WAFs (como Cloudflare Bot Management) bloqueiam IPs de datacenters, independentemente do User-Agent. Nossa investigação é executada na borda da Cloudflare, portanto, esses blocos podem aparecer como tempo limite. Marcamos os resultados como consultivos e confiamos no robots.txt como sinal oficial.