Comprobador de rastreo de IA
Compruebe qué rastreadores de IA (GPTBot, ClaudeBot, PerplexityBot…) pueden acceder a su sitio, analizar sus reglas de robots.txt y ver el estado de su archivo de rastreo común.
Preguntas frecuentes
¿Qué es un rastreador de IA?
Los rastreadores de IA son robots de empresas de IA (OpenAI, Anthropic, Google…) que visitan su sitio para alimentar sus modelos y funciones de búsqueda de IA. GPTBot alimenta la capacitación de ChatGPT, OAI-SearchBot alimenta la búsqueda web de ChatGPT.
¿Debería bloquear los rastreadores de IA?
Depende de tu objetivo. Bloquearlos para proteger el contenido original del entrenamiento de IA. Permítales si desea que su sitio sea citado en las respuestas de IA: los motores de búsqueda de IA se están convirtiendo en una fuente de tráfico real.
¿Por qué mi sitio devuelve 200 a GPTBot pero no estoy en ChatGPT?
Devolver HTTP 200 significa que el rastreador técnicamente puede recuperar su página. Ser citado en las respuestas de la IA también requiere que la IA juzgue que su contenido es relevante; ese es un proceso diferente y más lento.
¿Cómo prueba el verificador los rastreadores?
Recuperamos el archivo robots.txt de su sitio para leer las reglas autorizadas y luego analizamos su página de inicio con la cadena de agente de usuario real de cada rastreador. El estado de rastreo común se consulta desde la API de índice público.
¿Qué pasa si un sitio se bloquea por IP, no por User-Agent?
Algunos WAF (como Cloudflare Bot Management) bloquean las direcciones IP del centro de datos independientemente del usuario-agente. Nuestra sonda se ejecuta desde el borde de Cloudflare, por lo que dichos bloques pueden mostrarse como tiempo de espera; marcamos los resultados como de aviso y confiamos en robots.txt como señal autorizada.