ตัวสร้าง robots.txt
สร้าง robots.txt ที่รับรู้โดย AI-crawler: อนุญาต GPTBot, ClaudeBot, PerplexityBot และเพื่อนๆ ในขณะเดียวกันก็ควบคุมเส้นทางที่ละเอียดอ่อนได้
คำถามที่พบบ่อย
โปรแกรมรวบรวมข้อมูล AI ใดบ้างที่รวมอยู่ด้วย
GPTBot และ OAI-SearchBot (OpenAI), ClaudeBot และ Claude-SearchBot (Anthropic), PerplexityBot, Google-Extensed (การฝึกอบรม Gemini), CCBot (การรวบรวมข้อมูลทั่วไป), Bytespider (ByteDance), DeepSeekBot, Meta-ExternalAgent และอีกมากมาย
ความแตกต่างระหว่างการบล็อกการฝึกอบรมและการค้นหา AI คืออะไร
บอทการฝึกอบรม (GPTBot, ClaudeBot, Google-Extensed) คัดลอกเนื้อหาเพื่อฝึกโมเดล ค้นหาบอท AI (OAI-SearchBot, PerplexityBot, Claude-SearchBot) ดึงข้อมูลเพจเพื่ออ้างอิงในคำตอบแบบเรียลไทม์ การบล็อกการค้นหา AI จะลบคุณออกจากคำตอบของ AI โดยสิ้นเชิง
การอนุญาตให้โปรแกรมรวบรวมข้อมูล AI จะส่งผลเสียต่อ SEO ของฉันหรือไม่
ไม่ โปรแกรมรวบรวมข้อมูล AI แยกจาก Googlebot การอนุญาตจะไม่ส่งผลต่อการจัดอันดับ Google ของคุณ — เพียงตัดสินว่า ChatGPT, Perplexity และเพื่อนๆ สามารถอ่านและอ้างอิงคุณได้หรือไม่
เหตุใดจึงมีบรรทัด User-agent สำหรับบอทแต่ละตัว
robots.txt จับคู่กฎตาม user-agent การแสดงรายการบอทแต่ละตัวอย่างชัดเจนเป็นวิธีเดียวที่เชื่อถือได้ในการควบคุมการเข้าถึงต่อกลไก โปรแกรมรวบรวมข้อมูลบางรายอาจละเว้นกฎไวด์การ์ดเดียว
ฉันจะวางไฟล์นี้ไว้ที่ไหน?
ที่รากโดเมนของคุณ ที่ /robots.txt ทุกประการ โฮสต์ส่วนใหญ่ให้คุณอัปโหลดได้โดยตรง ตรวจสอบกับ AI Crawler Checker ของเราในภายหลัง