مدقق الزاحف AI
تحقق من برامج زحف الذكاء الاصطناعي (GPTBot، ClaudeBot، PerplexityBot...) التي يمكنها الوصول إلى موقعك، وتحليل قواعد ملف robots.txt، والاطلاع على حالة أرشيف الزحف المشترك.
الأسئلة المتداولة
ما هو زاحف الذكاء الاصطناعي؟
برامج زحف الذكاء الاصطناعي هي روبوتات من شركات الذكاء الاصطناعي (OpenAI، Anthropic، Google...) التي تزور موقعك لتغذية نماذجها وميزات بحث الذكاء الاصطناعي. يغذي GPTBot تدريب ChatGPT، ويغذي OAI-SearchBot بحث الويب الخاص بـ ChatGPT.
هل يجب علي حظر برامج زحف الذكاء الاصطناعي؟
ذلك يعتمد على هدفك. قم بحظرهم لحماية المحتوى الأصلي من تدريب الذكاء الاصطناعي. اسمح لهم إذا كنت تريد الاستشهاد بموقعك في إجابات الذكاء الاصطناعي - أصبحت محركات بحث الذكاء الاصطناعي مصدرًا حقيقيًا لحركة المرور.
لماذا يعيد موقعي 200 إلى GTBot ولكني لست في ChatGPT؟
إن إرجاع HTTP 200 يعني أن الزاحف يمكنه جلب صفحتك تقنيًا. يتطلب الاستشهاد في إجابات الذكاء الاصطناعي أيضًا أن يحكم الذكاء الاصطناعي على المحتوى الخاص بك ذي الصلة - وهذه عملية مختلفة وأبطأ.
كيف يقوم المدقق باختبار برامج الزحف؟
نقوم بإحضار ملف robots.txt الخاص بموقعك لقراءة القواعد الموثوقة، ثم نفحص صفحتك الرئيسية باستخدام سلسلة وكيل المستخدم الحقيقية لكل زاحف. يتم الاستعلام عن حالة الزحف الشائعة من واجهة برمجة تطبيقات الفهرس العامة.
ماذا لو تم حظر الموقع عن طريق IP، وليس وكيل المستخدم؟
تقوم بعض WAFs (مثل Cloudflare Bot Management) بحظر عناوين IP لمراكز البيانات بغض النظر عن وكيل المستخدم. يعمل مسبارنا من حافة Cloudflare، لذلك قد تظهر مثل هذه الكتل على أنها مهلة - فنحن نحدد النتائج على أنها استشارية ونعتمد على ملف robots.txt كإشارة موثوقة.