AI 크롤러
AI 크롤러는 AI 기업이 웹 문서를 수집하기 위해 운영하는 자동 프로그램이며, 회사마다 용도가 다른 여러 종류를 따로 운영합니다.
예를 들어 OpenAI는 검색 답변용과 모델 학습용 크롤러를 구분하며, 검색 답변에 노출되려면 OAI-SearchBot을 허용하라고 안내합니다. 어떤 크롤러를 허용할지는 robots.txt에서 각각 따로 정할 수 있습니다.
관련 용어
이 용어를 다루는 가이드
전체 용어
용어집으로예를 들어 OpenAI는 검색 답변용과 모델 학습용 크롤러를 구분하며, 검색 답변에 노출되려면 OAI-SearchBot을 허용하라고 안내합니다. 어떤 크롤러를 허용할지는 robots.txt에서 각각 따로 정할 수 있습니다.
전체 용어
용어집으로