AI 크롤러 검사기
귀하의 사이트에 액세스할 수 있는 AI 크롤러(GPTBot, ClaudeBot, PerplexityBot…)를 확인하고 robots.txt 규칙을 구문 분석하며 일반 크롤링 아카이브 상태를 확인하세요.
자주 묻는 질문
AI 크롤러란 무엇입니까?
AI 크롤러는 모델과 AI 검색 기능을 제공하기 위해 귀하의 사이트를 방문하는 AI 회사(OpenAI, Anthropic, Google…)의 봇입니다. GPTBot는 ChatGPT 교육에 피드를 제공하고, OAI-SearchBot은 ChatGPT의 웹 검색에 피드를 제공합니다.
AI 크롤러를 차단해야 합니까?
그것은 당신의 목표에 달려 있습니다. AI 훈련으로부터 원본 콘텐츠를 보호하려면 차단하세요. AI 답변에 귀하의 사이트를 인용하려면 이를 허용하십시오. AI 검색 엔진이 실제 트래픽 소스가 되고 있습니다.
내 사이트가 GPTBot에 200을 반환하는데 ChatGPT에는 없는 이유는 무엇입니까?
HTTP 200을 반환한다는 것은 크롤러가 기술적으로 페이지를 가져올 수 있다는 의미입니다. AI 답변에 인용되려면 AI가 콘텐츠 관련성을 판단해야 합니다. 이는 다르고 느린 프로세스입니다.
검사기는 크롤러를 어떻게 테스트합니까?
우리는 귀하 사이트의 robots.txt를 가져와서 권위 있는 규칙을 읽은 다음 각 크롤러의 실제 사용자 에이전트 문자열로 귀하의 홈페이지를 조사합니다. 일반 크롤링 상태는 공개 색인 API에서 쿼리됩니다.
User-Agent가 아닌 IP로 사이트를 차단하면 어떻게 되나요?
Cloudflare Bot Management와 같은 일부 WAF는 사용자 에이전트에 관계없이 데이터 센터 IP를 차단합니다. 우리의 프로브는 Cloudflare의 엣지에서 실행되므로 이러한 블록은 시간 초과로 표시될 수 있습니다. 우리는 결과를 권고로 표시하고 robots.txt를 신뢰할 수 있는 신호로 사용합니다.