Pembuat robots.txt
Hasilkan robots.txt yang sadar AI-crawler: izinkan GPTBot, ClaudeBot, PerplexityBot, dan teman-teman sambil tetap mengontrol jalur sensitif.
Pertanyaan yang Sering Diajukan
Perayap AI mana saja yang disertakan?
GPTBot dan OAI-SearchBot (OpenAI), ClaudeBot dan Claude-SearchBot (Anthropic), PerplexityBot, Google-Exended (pelatihan Gemini), CCBot (Common Crawl), Bytespider (ByteDance), DeepSeekBot, Meta-ExternalAgent dan banyak lagi.
Apa perbedaan antara pelatihan pemblokiran vs AI pencarian?
Bot pelatihan (GPTBot, ClaudeBot, Google-Exended) mengikis konten untuk melatih model. Bot AI penelusuran (OAI-SearchBot, PerplexityBot, Claude-SearchBot) mengambil halaman untuk dikutip dalam jawaban langsung. Memblokir pencarian AI menghilangkan Anda dari jawaban AI sepenuhnya.
Apakah mengizinkan perayap AI akan merugikan SEO saya?
Tidak. Perayap AI terpisah dari Googlebot. Mengizinkannya tidak memengaruhi peringkat Google Anda — ini hanya menentukan apakah ChatGPT, Perplexity, dan teman dapat membaca dan mengutip Anda.
Mengapa ada baris Agen-pengguna untuk setiap bot?
robots.txt cocok dengan aturan per agen pengguna. Mencantumkan setiap bot secara eksplisit adalah satu-satunya cara yang dapat diandalkan untuk mengontrol akses per mesin; satu aturan karakter pengganti mungkin diabaikan oleh beberapa perayap.
Di mana saya meletakkan file ini?
Di root domain Anda, tepatnya di /robots.txt. Kebanyakan host mengizinkan Anda mengunggahnya secara langsung; verifikasi dengan AI Crawler Checker kami sesudahnya.