robots.txt-Generator
Generieren Sie eine AI-Crawler-fähige robots.txt: Lassen Sie GPTBot, ClaudeBot, PerplexityBot und Freunde zu und behalten Sie gleichzeitig die Kontrolle über sensible Pfade.
Häufig gestellte Fragen
Welche KI-Crawler sind enthalten?
GPTBot und OAI-SearchBot (OpenAI), ClaudeBot und Claude-SearchBot (Anthropic), PerplexityBot, Google-Extended (Gemini-Training), CCBot (Common Crawl), Bytespider (ByteDance), DeepSeekBot, Meta-ExternalAgent und mehr.
Was ist der Unterschied zwischen Blockierungstraining und Such-KI?
Trainings-Bots (GPTBot, ClaudeBot, Google-Extended) durchsuchen Inhalte, um Modelle zu trainieren. Such-KI-Bots (OAI-SearchBot, PerplexityBot, Claude-SearchBot) rufen Seiten ab, um sie in Live-Antworten zu zitieren. Durch das Blockieren der Such-KI werden Sie vollständig von KI-Antworten ausgeschlossen.
Schadet die Zulassung von KI-Crawlern meiner SEO?
Nein. KI-Crawler sind vom Googlebot getrennt. Das Zulassen hat keinen Einfluss auf Ihr Google-Ranking – es entscheidet nur darüber, ob ChatGPT, Perplexity und Freunde Sie lesen und zitieren können.
Warum gibt es für jeden Bot eine User-Agent-Zeile?
robots.txt gleicht Regeln pro Benutzeragent ab. Die explizite Auflistung jedes Bots ist die einzige zuverlässige Möglichkeit, den Zugriff pro Engine zu steuern. Eine einzelne Platzhalterregel kann von einigen Crawlern ignoriert werden.
Wo lege ich diese Datei ab?
Im Stammverzeichnis Ihrer Domain, genau unter /robots.txt. Bei den meisten Hostern können Sie es direkt hochladen. Überprüfen Sie anschließend mit unserem AI Crawler Checker.