ตัวตรวจสอบซอฟต์แวร์รวบรวมข้อมูล AI
ตรวจสอบว่าโปรแกรมรวบรวมข้อมูล AI ใด (GPTBot, ClaudeBot, PerplexityBot…) สามารถเข้าถึงเว็บไซต์ของคุณ แยกวิเคราะห์กฎ robots.txt และดูสถานะการเก็บถาวรการรวบรวมข้อมูลทั่วไปของคุณ
คำถามที่พบบ่อย
โปรแกรมรวบรวมข้อมูล AI คืออะไร
โปรแกรมรวบรวมข้อมูล AI คือบอทจากบริษัท AI (OpenAI, Anthropic, Google…) ที่เยี่ยมชมไซต์ของคุณเพื่อป้อนโมเดลและคุณลักษณะการค้นหาของ AI GPTBot ฟีดการฝึกอบรม ChatGPT, OAI-SearchBot ฟีดการค้นหาเว็บของ ChatGPT
ฉันควรบล็อกโปรแกรมรวบรวมข้อมูล AI หรือไม่
มันขึ้นอยู่กับเป้าหมายของคุณ บล็อกสิ่งเหล่านี้เพื่อปกป้องเนื้อหาต้นฉบับจากการฝึกอบรม AI อนุญาตหากคุณต้องการให้ไซต์ของคุณอ้างถึงคำตอบของ AI — เครื่องมือค้นหาของ AI กำลังกลายเป็นแหล่งที่มาของการเข้าชมที่แท้จริง
เหตุใดเว็บไซต์ของฉันจึงคืน 200 ไปที่ GPTBot แต่ฉันไม่ได้อยู่ใน ChatGPT
การส่งคืน HTTP 200 หมายความว่าโปรแกรมรวบรวมข้อมูลสามารถดึงหน้าเว็บของคุณได้ในทางเทคนิค การถูกอ้างถึงในคำตอบของ AI นั้นจำเป็นต้องให้ AI ตัดสินเนื้อหาของคุณที่เกี่ยวข้องด้วย ซึ่งเป็นกระบวนการที่แตกต่างและช้ากว่า
โปรแกรมตรวจสอบทดสอบโปรแกรมรวบรวมข้อมูลอย่างไร
เราดึงข้อมูล robots.txt จากเว็บไซต์ของคุณเพื่ออ่านกฎที่เชื่อถือได้ จากนั้นตรวจสอบหน้าแรกของคุณด้วยสตริง User-Agent ที่แท้จริงของโปรแกรมรวบรวมข้อมูลแต่ละรายการ สถานะการรวบรวมข้อมูลทั่วไปถูกสอบถามจาก API ดัชนีสาธารณะ
จะเกิดอะไรขึ้นหากไซต์บล็อกโดย IP ไม่ใช่ User-Agent
WAF บางตัว (เช่น Cloudflare Bot Management) บล็อก IP ของศูนย์ข้อมูลโดยไม่คำนึงถึง User-Agent การตรวจสอบของเราทำงานจาก Edge ของ Cloudflare ดังนั้นบล็อกดังกล่าวอาจแสดงเป็นการหมดเวลา — เราทำเครื่องหมายผลลัพธ์ว่าเป็นคำแนะนำและใช้ robots.txt เป็นสัญญาณที่เชื่อถือได้