एआई क्रॉलर चेकर
जांचें कि कौन से AI क्रॉलर (GPTBot, ClaudeBot, PerplexityBot...) आपकी साइट तक पहुंच सकते हैं, आपके robots.txt नियमों को पार्स कर सकते हैं और आपकी सामान्य क्रॉल संग्रह स्थिति देख सकते हैं।
अक्सर पूछे जाने वाले प्रश्नों
एआई क्रॉलर क्या है?
एआई क्रॉलर एआई कंपनियों (ओपनएआई, एंथ्रोपिक, गूगल...) के बॉट हैं जो अपने मॉडल और एआई खोज सुविधाओं को फीड करने के लिए आपकी साइट पर आते हैं। जीपीटीबॉट चैटजीपीटी प्रशिक्षण को फीड करता है, ओएआई-सर्चबॉट चैटजीपीटी की वेब खोज को फीड करता है।
क्या मुझे AI क्रॉलर्स को ब्लॉक कर देना चाहिए?
यह आपके लक्ष्य पर निर्भर करता है. मूल सामग्री को एआई प्रशिक्षण से बचाने के लिए उन्हें ब्लॉक करें। यदि आप चाहते हैं कि आपकी साइट एआई उत्तरों में उद्धृत हो तो उन्हें अनुमति दें - एआई खोज इंजन एक वास्तविक ट्रैफ़िक स्रोत बन रहे हैं।
मेरी साइट GPTBot को 200 क्यों लौटाती है लेकिन मैं ChatGPT में नहीं हूँ?
HTTP 200 लौटाने का मतलब है कि क्रॉलर तकनीकी रूप से आपका पेज ला सकता है। एआई उत्तरों में उद्धृत किए जाने के लिए अतिरिक्त रूप से एआई को आपकी सामग्री की प्रासंगिकता का आकलन करने की आवश्यकता होती है - यह एक अलग, धीमी प्रक्रिया है।
चेकर क्रॉलर्स का परीक्षण कैसे करता है?
हम आधिकारिक नियमों को पढ़ने के लिए आपकी साइट के robots.txt को लाते हैं, फिर प्रत्येक क्रॉलर की वास्तविक उपयोगकर्ता-एजेंट स्ट्रिंग के साथ आपके होमपेज की जांच करते हैं। सामान्य क्रॉल स्थिति सार्वजनिक सूचकांक एपीआई से पूछी जाती है।
यदि कोई साइट उपयोगकर्ता-एजेंट के बजाय आईपी द्वारा ब्लॉक हो तो क्या होगा?
कुछ WAF (जैसे क्लाउडफ़ेयर बॉट मैनेजमेंट) उपयोगकर्ता-एजेंट की परवाह किए बिना डेटासेंटर आईपी को ब्लॉक कर देते हैं। हमारी जांच क्लाउडफ्लेयर के किनारे से चलती है, इसलिए ऐसे ब्लॉक टाइमआउट के रूप में दिख सकते हैं - हम परिणामों को सलाहकार के रूप में चिह्नित करते हैं और आधिकारिक संकेत के रूप में robots.txt पर भरोसा करते हैं।