Generador de robots.txt
Genere un archivo robots.txt compatible con rastreadores de IA: permita GPTBot, ClaudeBot, PerplexityBot y amigos mientras mantiene el control sobre rutas sensibles.
Preguntas frecuentes
¿Qué rastreadores de IA están incluidos?
GPTBot y OAI-SearchBot (OpenAI), ClaudeBot y Claude-SearchBot (Anthropic), PerplexityBot, Google-Extended (entrenamiento Gemini), CCBot (Common Crawl), Bytespider (ByteDance), DeepSeekBot, Meta-ExternalAgent y más.
¿Cuál es la diferencia entre el entrenamiento de bloqueo y la IA de búsqueda?
Los robots de entrenamiento (GPTBot, ClaudeBot, Google-Extended) extraen contenido para entrenar modelos. Los robots de búsqueda de IA (OAI-SearchBot, PerplexityBot, Claude-SearchBot) recuperan páginas para citarlas en respuestas en vivo. Bloquear la IA de búsqueda lo elimina por completo de las respuestas de IA.
¿Permitir rastreadores de IA perjudicará mi SEO?
No. Los rastreadores de IA son independientes del robot de Google. Permitirlos no afecta su clasificación en Google; solo decide si ChatGPT, Perplexity y sus amigos pueden leerlo y citarlo.
¿Por qué hay una línea User-agent para cada bot?
robots.txt coincide con reglas por agente de usuario. Enumerar cada bot explícitamente es la única forma confiable de controlar el acceso por motor; Algunos rastreadores pueden ignorar una única regla comodín.
¿Dónde pongo este archivo?
En la raíz de tu dominio, exactamente en /robots.txt. La mayoría de los servidores te permiten subirlo directamente; verifique con nuestro AI Crawler Checker después.