robots.txt जेनरेटर
एक AI-क्रॉलर-जागरूक robots.txt उत्पन्न करें: संवेदनशील पथों पर नियंत्रण रखते हुए GPTBot, ClaudeBot, PerplexityBot और दोस्तों को अनुमति दें।
अक्सर पूछे जाने वाले प्रश्नों
कौन से AI क्रॉलर शामिल हैं?
GPTBot और OAI-SearchBot (OpenAI), क्लाउडबॉट और क्लाउड-सर्चबॉट (एंथ्रोपिक), PerplexityBot, Google-एक्सटेंडेड (मिथुन ट्रेनिंग), CCBot (कॉमन क्रॉल), बाइटस्पाइडर (बाइटडांस), डीपसीकबॉट, मेटा-एक्सटर्नलएजेंट और बहुत कुछ।
ब्लॉकिंग ट्रेनिंग बनाम सर्च एआई के बीच क्या अंतर है?
प्रशिक्षण बॉट (जीपीटीबॉट, क्लाउडबॉट, गूगल-एक्सटेंडेड) मॉडलों को प्रशिक्षित करने के लिए सामग्री को परिमार्जन करते हैं। एआई बॉट्स खोजें (ओएआई-सर्चबॉट, पर्प्लेक्सिटीबॉट, क्लाउड-सर्चबॉट) उन्हें लाइव उत्तरों में उद्धृत करने के लिए पेज लाते हैं। खोज AI को अवरुद्ध करने से आप AI उत्तरों से पूरी तरह हट जाते हैं।
क्या AI क्रॉलर्स को अनुमति देने से मेरे SEO को नुकसान होगा?
नहीं, AI क्रॉलर Googlebot से अलग हैं। उन्हें अनुमति देने से आपकी Google रैंकिंग पर कोई प्रभाव नहीं पड़ता है - यह केवल यह तय करता है कि ChatGPT, Perplexity और मित्र आपको पढ़ सकते हैं और उद्धृत कर सकते हैं या नहीं।
प्रत्येक बॉट के लिए उपयोगकर्ता-एजेंट पंक्ति क्यों है?
robots.txt प्रति उपयोगकर्ता-एजेंट नियमों से मेल खाता है। प्रत्येक बॉट को स्पष्ट रूप से सूचीबद्ध करना प्रति इंजन पहुंच को नियंत्रित करने का एकमात्र विश्वसनीय तरीका है; कुछ क्रॉलर्स द्वारा एकल वाइल्डकार्ड नियम को अनदेखा किया जा सकता है।
मैं यह फ़ाइल कहां रखूं?
आपके डोमेन रूट पर, बिल्कुल /robots.txt पर। अधिकांश होस्ट आपको इसे सीधे अपलोड करने देते हैं; बाद में हमारे एआई क्रॉलर चेकर से सत्यापित करें।