ホーム/用語集robots.txtebiz365 編集部 · 2026-09-05robots.txtとは、どのクローラーがどこを取得してよいかを指定する、サイトのルートに置くファイルです。AIクローラーにもそれぞれ名前があり、個別に許可・拒否できます。変更が反映されるまで時間がかかる場合があります。関連用語AIクローラーllms.txtインデックスこの用語を扱うガイドllms.txt 完全ガイド:書き方と例すべての用語用語集へ戻る