GPTBot을 막아야 하나요?

모델 학습에 콘텐츠가 쓰이는 것을 원하지 않을 때만 막으세요. GPTBot을 막아도 ChatGPT 검색용 크롤러인 OAI-SearchBot은 막히지 않습니다.

llms.txt가 꼭 필요한가요?

필수는 아닙니다. 제안된 관례이고 순위 요인으로 확인되지는 않았지만, 만드는 비용이 거의 없고 AI 도구에 회사 요약을 한 곳에서 제공합니다.

파일은 어디에 두나요?

둘 다 도메인 루트에 둡니다. 예: example.com/robots.txt, example.com/llms.txt

AI 크롤러용 robots.txt와 llms.txt 설정법 (복사해서 쓰는 예시)

윤지성 · 윤주컴퍼니 · 2026년 11월 15일

요약: AI 답변에 나오고 싶다면 robots.txt에서 검색형 AI 크롤러(OAI-SearchBot, PerplexityBot, ClaudeBot)를 막지 말고, 사이트맵을 적고, 회사 소개·판매 상품·가격·주요 URL을 담은 /llms.txt를 올리세요. 모델 학습용 크롤러(GPTBot, Google-Extended, CCBot)까지 허용할지는 따로 정하면 됩니다.

알아둘 크롤러

User-agent	운영	용도
OAI-SearchBot	OpenAI	ChatGPT 검색 결과에 사이트 노출
GPTBot	OpenAI	모델 학습에 쓰일 수 있는 콘텐츠 수집
ChatGPT-User	OpenAI	사용자가 요청할 때 페이지를 가져옴, robots.txt가 적용되지 않을 수 있음
ClaudeBot	Anthropic	Claude용 크롤링
PerplexityBot	Perplexity	퍼플렉시티 답변용 색인
Google-Extended	Google	Gemini 모델 활용 여부를 정하는 제어 토큰, 구글 검색(Googlebot)과 별개
Bingbot	Microsoft	빙 검색, 코파일럿 답변에도 쓰임
Yeti	네이버	네이버 검색

OpenAI는 크롤러 설명을 developers.openai.com/api/docs/bots에 공개하고 있으며, robots.txt 변경이 반영되는 데 하루 정도 걸릴 수 있다고 안내합니다.

복사해서 쓰는 robots.txt (모두 허용 + 사이트맵)

User-agent: *
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Yeti
Allow: /

Sitemap: https://www.example.com/sitemap.xml

학습용 사용을 원하지 않으면 GPTBot과 Google-Extended만 Disallow: /로 바꾸고 검색형 크롤러는 허용해 두세요.

최소 llms.txt 예시

llms.txt는 사이트 루트에 두는 마크다운 요약 파일로, 제안된 관례입니다. 순위 요인으로 확인된 것은 아니지만 만드는 비용이 거의 없고, AI가 우리 정보를 한 곳에서 깔끔하게 읽게 해 줍니다.

# 예시 베이커리
> 예시 베이커리는 부산의 2인 베이커리로, 맞춤 케이크를 45,000원부터 판매하며 3일 전 온라인 주문을 받습니다.

## 주요 페이지
- [케이크와 가격](https://www.example.com/cakes/): 크기, 맛, 가격
- [주문 방법](https://www.example.com/order/): 준비 기간, 픽업·배송
- [자주 묻는 질문](https://www.example.com/faq/): 알레르기, 취소

## 기본 정보
- 위치: 부산광역시
- 영업시간: 화~일 10:00~19:00

주요 페이지 전문을 한 파일로 주고 싶다면 /llms-full.txt도 추가하세요.

추가로 확인할 3가지

사이트맵: 노출할 모든 페이지와 lastmod 날짜, robots.txt에 링크
JSON-LD: Organization, Service 또는 Product와 Offer, FAQ에는 FAQPage. 화면 내용과 같게
호스팅·CDN 설정: robots.txt에서 허용해도 방화벽이 AI 크롤러를 기본 차단하는 경우가 있습니다

실제로 보니

2026년 11월 15일 브랜드 사이트 10곳을 점검했을 때, robots.txt에 AI 크롤러를 명시한 곳은 3곳, 브랜드 요약이 담긴 llms.txt가 있는 곳은 5곳뿐이었습니다. 가장 싸게 메울 수 있는 빈틈입니다. GEO 진단에는 사이트에 맞춘 robots.txt, llms.txt, JSON-LD 붙여넣기용 초안이 포함됩니다.