robots.txt 생성기
AI 크롤러 인식 robots.txt 생성: 민감한 경로를 제어하면서 GPTBot, ClaudeBot, PerplexityBot 및 친구들을 허용합니다.
자주 묻는 질문
어떤 AI 크롤러가 포함되어 있나요?
GPTBot 및 OAI-SearchBot(OpenAI), ClaudeBot 및 Claude-SearchBot(Anthropic), PerplexityBot, Google-Extended(Gemini 교육), CCBot(Common Crawl), Bytespider(ByteDance), DeepSeekBot, Meta-ExternalAgent 등.
차단 훈련과 검색 AI의 차이점은 무엇입니까?
훈련 봇(GPTBot, ClaudeBot, Google-Extended)은 콘텐츠를 스크랩하여 모델을 훈련시킵니다. 검색 AI 봇(OAI-SearchBot, PerplexityBot, Claude-SearchBot)은 페이지를 가져와 실시간 답변에 인용합니다. 검색 AI를 차단하면 AI 답변에서 완전히 제거됩니다.
AI 크롤러를 허용하면 SEO가 손상되나요?
아니요. AI 크롤러는 Googlebot과 별개입니다. 이를 허용해도 Google 순위에는 영향을 미치지 않습니다. ChatGPT, Perplexity 및 친구들이 귀하를 읽고 인용할 수 있는지 여부만 결정됩니다.
각 봇마다 User-agent 라인이 있는 이유는 무엇입니까?
robots.txt는 사용자 에이전트별 규칙과 일치합니다. 각 봇을 명시적으로 나열하는 것은 엔진당 액세스를 제어하는 신뢰할 수 있는 유일한 방법입니다. 일부 크롤러에서는 단일 와일드카드 규칙을 무시할 수 있습니다.
이 파일을 어디에 넣나요?
도메인 루트의 정확히 /robots.txt에 있습니다. 대부분의 호스트에서는 직접 업로드할 수 있습니다. 나중에 AI Crawler Checker로 확인하세요.