مولد ملف robots.txt
قم بإنشاء ملف robots.txt مدرك للذكاء الاصطناعي: اسمح بـ GTBBot وClaudeBot وPerplexityBot والأصدقاء مع الحفاظ على التحكم في المسارات الحساسة.
الأسئلة المتداولة
ما هي برامج زحف الذكاء الاصطناعي المضمنة؟
GPTBot وOAI-SearchBot (OpenAI)، وClaudeBot وClaude-SearchBot (Anthropic)، وPerplexityBot، وGoogle-Extending (تدريب Gemini)، وCCBot (Common Crawl)، وBytespider (ByteDance)، وDeepSeekBot، وMeta-ExternalAgent والمزيد.
ما الفرق بين حظر التدريب مقابل بحث الذكاء الاصطناعي؟
تقوم روبوتات التدريب (GPTBot، ClaudeBot، Google-Extending) باستخراج المحتوى لتدريب النماذج. تقوم روبوتات البحث بالذكاء الاصطناعي (OAI-SearchBot، وPerplexityBot، وClaude-SearchBot) بجلب الصفحات للاستشهاد بها في الإجابات المباشرة. يؤدي حظر البحث باستخدام الذكاء الاصطناعي إلى إزالتك من إجابات الذكاء الاصطناعي تمامًا.
هل سيؤدي السماح لبرامج زحف الذكاء الاصطناعي إلى الإضرار بتحسين محركات البحث الخاصة بي؟
لا، فبرامج زحف الذكاء الاصطناعي منفصلة عن Googlebot. لا يؤثر السماح لهم بذلك على تصنيفك على Google، فهو يقرر فقط ما إذا كان بإمكان ChatGPT وPerplexity والأصدقاء قراءتك والاستشهاد بك.
لماذا يوجد خط وكيل المستخدم لكل روبوت؟
يتطابق ملف robots.txt مع القواعد لكل وكيل مستخدم. إن إدراج كل روبوت بشكل صريح هو الطريقة الوحيدة الموثوقة للتحكم في الوصول لكل محرك؛ قد يتم تجاهل قاعدة حرف بدل واحدة بواسطة بعض برامج الزحف.
أين أضع هذا الملف؟
في جذر المجال الخاص بك، بالضبط في /robots.txt. يتيح لك معظم المضيفين تحميله مباشرةً؛ تحقق من ذلك باستخدام AI Crawler Checker بعد ذلك.