Vérificateur de robots d'IA
Vérifiez quels robots d'exploration IA (GPTBot, ClaudeBot, PerplexityBot…) peuvent accéder à votre site, analyser vos règles robots.txt et voir l'état de votre archive Common Crawl.
Foire aux questions
Qu'est-ce qu'un robot d'exploration IA ?
Les robots d'IA sont des robots d'entreprises d'IA (OpenAI, Anthropic, Google…) qui visitent votre site pour alimenter leurs modèles et fonctionnalités de recherche d'IA. GPTBot alimente la formation ChatGPT, OAI-SearchBot alimente la recherche Web de ChatGPT.
Dois-je bloquer les robots d’exploration IA ?
Cela dépend de votre objectif. Bloquez-les pour protéger le contenu original de la formation en IA. Autorisez-les si vous souhaitez que votre site soit cité dans les réponses de l'IA : les moteurs de recherche d'IA deviennent une véritable source de trafic.
Pourquoi mon site renvoie-t-il 200 à GPTBot mais je ne suis pas dans ChatGPT ?
Le renvoi de HTTP 200 signifie que le robot d'exploration peut techniquement récupérer votre page. Être cité dans les réponses de l'IA nécessite en outre que l'IA juge votre contenu pertinent – c'est un processus différent et plus lent.
Comment le vérificateur teste-t-il les robots ?
Nous récupérons le fichier robots.txt de votre site pour lire les règles faisant autorité, puis sondons votre page d'accueil avec la véritable chaîne User-Agent de chaque robot. L’état de Common Crawl est interrogé à partir de l’API d’index public.
Que se passe-t-il si un site bloque par IP et non par User-Agent ?
Certains WAF (comme Cloudflare Bot Management) bloquent les adresses IP des centres de données quel que soit l'agent utilisateur. Notre sonde s'exécute à partir de Cloudflare, de sorte que ces blocs peuvent apparaître comme un délai d'attente : nous marquons les résultats comme consultatifs et nous nous appuyons sur robots.txt comme signal faisant autorité.