콘텐츠 운영

블로그와 노트, 커뮤니티를 직접 운영하고 검색에 노출시키며 겪은 일을 정리했습니다.

AI 크롤러 전부 차단하면 손해? GPTBot·OAI-SearchBot·ClaudeBot robots.txt 설정 정리

콘텐츠 운영

AI 크롤러 전부 차단하면 손해? GPTBot·OAI-SearchBot·ClaudeBot robots.txt 설정 정리

AI 크롤러를 전부 차단하면 ChatGPT·Claude·Perplexity 검색과 답변에서 내 사이트가 노출될 기회까지 막을 수 있습니다. OAI-SearchBot, GPTBot, ClaudeBot 등 AI 봇을 검색·사용자 요청·모델 학습 목적으로 구분하고, robots.txt와 Rate Limit을 활용해 검색과 인용은 허용하면서 학습용 수집은 선택적으로 차단하는 방법을 정리합니다.

By goodtek