Générateur de robots.txt
Générez un fichier robots.txt compatible avec les robots d'exploration de l'IA : autorisez GPTBot, ClaudeBot, PerplexityBot et ses amis tout en gardant le contrôle des chemins sensibles.
Foire aux questions
Quels robots d'exploration IA sont inclus ?
GPTBot et OAI-SearchBot (OpenAI), ClaudeBot et Claude-SearchBot (Anthropic), PerplexityBot, Google-Extended (formation Gemini), CCBot (Common Crawl), Bytespider (ByteDance), DeepSeekBot, Meta-ExternalAgent et plus encore.
Quelle est la différence entre le blocage de l'entraînement et l'IA de recherche ?
Les robots de formation (GPTBot, ClaudeBot, Google-Extended) récupèrent le contenu pour former des modèles. Les robots d'IA de recherche (OAI-SearchBot, PerplexityBot, Claude-SearchBot) récupèrent les pages pour les citer dans les réponses en direct. Le blocage de l’IA de recherche vous supprime entièrement des réponses de l’IA.
Est-ce que l'autorisation des robots d'exploration IA nuira à mon référencement ?
Non. Les robots d'exploration IA sont distincts de Googlebot. Les autoriser n'affecte pas votre classement Google - cela décide uniquement si ChatGPT, Perplexity et vos amis peuvent vous lire et vous citer.
Pourquoi y a-t-il une ligne User-agent pour chaque bot ?
robots.txt correspond aux règles par user-agent. Répertorier explicitement chaque bot est le seul moyen fiable de contrôler l'accès par moteur ; une seule règle générique peut être ignorée par certains robots.
Où dois-je mettre ce fichier ?
À la racine de votre domaine, exactement à /robots.txt. La plupart des hébergeurs vous permettent de le télécharger directement ; vérifiez ensuite avec notre AI Crawler Checker.