홈/용어집robots.txtebiz365 편집팀 · 2026-09-05robots.txt는 사이트 루트에 두는 파일로, 어떤 크롤러가 어디를 가져갈 수 있는지 허용과 차단을 지정합니다.AI 크롤러도 각각 이름이 있어 개별로 허용하거나 막을 수 있습니다. 수정한 내용이 반영되기까지는 시간이 걸릴 수 있습니다.관련 용어AI 크롤러llms.txt색인 (indexing)이 용어를 다루는 가이드llms.txt 완벽 가이드: 작성법과 예시전체 용어용어집으로