한 줄 정의
llms.txt는 웹사이트 루트에 두는 마크다운 형식 파일로, AI 크롤러에게 사이트의 핵심 콘텐츠와 구조를 요약 안내하는, 표준으로 제안된 형식입니다. robots.txt가 접근 권한(무엇을 읽어도 되는가)을 다룬다면, llms.txt는 우선순위(무엇을 읽어야 하는가)를 알려줍니다.
llms.txt가 필요한 이유
AI 크롤러는 사이트당 읽는 양과 빈도가 제한적입니다. 수백 페이지 중 어떤 것이 핵심인지 스스로 판단하게 두는 대신, llms.txt로 대표 콘텐츠·제품 설명·문서의 위치를 안내하면 중요한 페이지가 AI에 파악될 확률이 올라갑니다. GPTBot(OpenAI), PerplexityBot, ClaudeBot 등 주요 AI 크롤러의 접근 허용 여부를 robots.txt에서 함께 점검해야 실효성이 있습니다.
작성 가이드
효과적인 llms.txt의 구성입니다.
- H1으로 사이트/브랜드 정의 한 줄
- 핵심 제품·서비스 설명과 대표 URL 목록
- 자주 인용되길 원하는 문서(가이드·가격·FAQ) 링크
- 마크다운 형식 유지 — AI가 파싱하기 쉬운 경량 구조
예시로 쉽게 이해하기
문서가 500페이지인 SaaS 사이트가 llms.txt에 "핵심 제품 소개 3개, 가격 페이지, 시작 가이드" 링크를 정리해 뒀다고 해볼게요. AI 크롤러는 제한된 크롤링 예산 안에서 무엇부터 읽을지 안내받게 되고, 중요한 페이지가 파악될 확률이 올라갑니다.
AEO 시대 활용 전략
- 1루트에 llms.txt를 만들어 브랜드 정의와 핵심 문서 링크를 안내하세요.
- 2robots.txt에서 GPTBot·PerplexityBot 등 AI 크롤러 허용 여부를 함께 점검하세요.
- 3새 핵심 콘텐츠 발행 시 llms.txt도 함께 갱신하는 습관을 들이세요.