goodtek

goodtek을 운영하며 vibePulse를 비롯한 제품을 직접 만들고 있습니다. 배포, 인증, CI/CD, 모니터링처럼 실제로 막혔던 지점을 기록으로 남깁니다. 연락은 hello@goodtek.xyz.

goodtek
AI 크롤러 전부 차단하면 손해? GPTBot·OAI-SearchBot·ClaudeBot robots.txt 설정 정리

콘텐츠 운영

AI 크롤러 전부 차단하면 손해? GPTBot·OAI-SearchBot·ClaudeBot robots.txt 설정 정리

AI 크롤러를 전부 차단하면 ChatGPT·Claude·Perplexity 검색과 답변에서 내 사이트가 노출될 기회까지 막을 수 있습니다. OAI-SearchBot, GPTBot, ClaudeBot 등 AI 봇을 검색·사용자 요청·모델 학습 목적으로 구분하고, robots.txt와 Rate Limit을 활용해 검색과 인용은 허용하면서 학습용 수집은 선택적으로 차단하는 방법을 정리합니다.

By goodtek