Pemeriksa Perayap AI
Periksa perayap AI mana (GPTBot, ClaudeBot, PerplexityBot…) yang dapat mengakses situs Anda, parsing aturan robots.txt Anda, dan lihat status arsip Perayapan Umum Anda.
Pertanyaan yang Sering Diajukan
Apa itu perayap AI?
Perayap AI adalah bot dari perusahaan AI (OpenAI, Anthropic, Google…) yang mengunjungi situs Anda untuk memberi makan model dan fitur pencarian AI mereka. GPTBot memberi pelatihan ChatGPT, OAI-SearchBot memberi makan pencarian web ChatGPT.
Haruskah saya memblokir perayap AI?
Itu tergantung pada tujuan Anda. Blokir mereka untuk melindungi konten asli dari pelatihan AI. Izinkan mereka jika Anda ingin situs Anda dikutip dalam jawaban AI — mesin pencari AI menjadi sumber lalu lintas yang nyata.
Mengapa situs saya mengembalikan 200 ke GPTBot tetapi saya tidak ada di ChatGPT?
Mengembalikan HTTP 200 berarti crawler secara teknis dapat mengambil halaman Anda. Dikutip dalam jawaban AI juga mengharuskan AI untuk menilai relevansi konten Anda — itu adalah proses yang berbeda dan lebih lambat.
Bagaimana cara pemeriksa menguji crawler?
Kami mengambil robots.txt situs Anda untuk membaca aturan resmi, lalu memeriksa beranda Anda dengan string Agen Pengguna sebenarnya dari setiap crawler. Status Perayapan Umum ditanyakan dari API indeks publik.
Bagaimana jika sebuah situs memblokir berdasarkan IP, bukan Agen-Pengguna?
Beberapa WAF (seperti Cloudflare Bot Management) memblokir IP pusat data apa pun Agen Penggunanya. Penyelidikan kami dijalankan dari edge Cloudflare, sehingga blok tersebut mungkin ditampilkan sebagai batas waktu — kami menandai hasil sebagai saran dan mengandalkan robots.txt sebagai sinyal resmi.