Trình tạo robots.txt
Tạo robots.txt nhận biết trình thu thập dữ liệu AI: cho phép GPTBot, ClaudeBot, PerplexityBot và bạn bè trong khi vẫn giữ quyền kiểm soát các đường dẫn nhạy cảm.
Câu hỏi thường gặp
Những trình thu thập thông tin AI nào được bao gồm?
GPTBot và OAI-SearchBot (OpenAI), ClaudeBot và Claude-SearchBot (Anthropic), PerplexityBot, Google-Extends (đào tạo Gemini), CCBot (Thu thập thông tin chung), Bytespider (ByteDance), DeepSeekBot, Meta-ExternalAgent, v.v.
Sự khác biệt giữa đào tạo chặn và AI tìm kiếm là gì?
Các bot đào tạo (GPTBot, ClaudeBot, Google-Extends) lấy nội dung để đào tạo mô hình. Các bot AI tìm kiếm (OAI-SearchBot, PerplexityBot, Claude-SearchBot) tìm nạp các trang để trích dẫn chúng trong các câu trả lời trực tiếp. Việc chặn AI tìm kiếm sẽ loại bỏ bạn hoàn toàn khỏi các câu trả lời của AI.
Việc cho phép trình thu thập dữ liệu AI có ảnh hưởng đến SEO của tôi không?
Không. Trình thu thập dữ liệu AI tách biệt với Googlebot. Việc cho phép chúng không ảnh hưởng đến thứ hạng trên Google của bạn - nó chỉ quyết định liệu ChatGPT, Perplexity và bạn bè có thể đọc và trích dẫn bạn hay không.
Tại sao lại có dòng User-agent cho mỗi bot?
robots.txt khớp với các quy tắc cho mỗi tác nhân người dùng. Liệt kê rõ ràng từng bot là cách đáng tin cậy duy nhất để kiểm soát quyền truy cập trên mỗi công cụ; một quy tắc ký tự đại diện có thể bị một số trình thu thập thông tin bỏ qua.
Tôi đặt tập tin này ở đâu?
Tại gốc miền của bạn, chính xác là tại /robots.txt. Hầu hết các máy chủ đều cho phép bạn tải nó lên trực tiếp; sau đó hãy xác minh bằng Trình kiểm tra trình thu thập thông tin AI của chúng tôi.