KI-Crawler-Checker
Überprüfen Sie, welche KI-Crawler (GPTBot, ClaudeBot, PerplexityBot…) auf Ihre Website zugreifen können, analysieren Sie Ihre robots.txt-Regeln und sehen Sie den Status Ihres Common Crawl-Archivs.
Häufig gestellte Fragen
Was ist ein KI-Crawler?
KI-Crawler sind Bots von KI-Unternehmen (OpenAI, Anthropic, Google…), die Ihre Website besuchen, um deren Modelle und KI-Suchfunktionen zu füttern. GPTBot speist ChatGPT-Schulungen, OAI-SearchBot speist die Websuche von ChatGPT.
Sollte ich KI-Crawler blockieren?
Es hängt von Ihrem Ziel ab. Blockieren Sie sie, um Originalinhalte vor KI-Training zu schützen. Erlauben Sie ihnen, wenn Ihre Website in KI-Antworten erwähnt werden soll – KI-Suchmaschinen werden zu einer echten Traffic-Quelle.
Warum gibt meine Website 200 an GPTBot zurück, ich bin aber nicht bei ChatGPT?
Die Rückgabe von HTTP 200 bedeutet, dass der Crawler Ihre Seite technisch abrufen kann. Wenn Sie in KI-Antworten zitiert werden, muss die KI Ihre Inhalte außerdem als relevant beurteilen – das ist ein anderer, langsamerer Prozess.
Wie testet der Checker Crawler?
Wir rufen die robots.txt-Datei Ihrer Website ab, um die maßgeblichen Regeln zu lesen, und prüfen dann Ihre Homepage mit der echten User-Agent-Zeichenfolge jedes Crawlers. Der allgemeine Crawl-Status wird von der öffentlichen Index-API abgefragt.
Was passiert, wenn eine Site nach IP blockiert, nicht nach User-Agent?
Einige WAFs (wie Cloudflare Bot Management) blockieren Rechenzentrums-IPs unabhängig vom User-Agent. Unsere Untersuchung läuft vom Cloudflare-Edge aus, sodass solche Blöcke möglicherweise als Zeitüberschreitung angezeigt werden – wir kennzeichnen Ergebnisse als beratend und verlassen uns auf robots.txt als maßgebliches Signal.