robots.txt
記述規則
- 「robots.txt」というファイル名は、全て半角小文字で記述する必要があります。
- レコードの各行は「<フィールド名>:<空白><値><空白>」（空白の有無は任意）という形式で記述します。
- フィールド名として「User-agent」と「Disallow」が定義されています。
- 1組のレコードは、「User-agent」ではじまる条件文（1行のみ記述可）に続いて「Disallow」ではじまる条件文（繰り返して複数行記述可）を記述します。
- 複数組のレコードは空白行で区切って記述します。そのため、1組のレコード内は空白行で区切ってはいけません。
- #に続けて注記等を記述することが可能です。
| フィールド名 | 定義 |
|---|---|
| User-agent | このフィールドの値には、対象となるロボット名を記述 アスタリスク（*）を記述すると、全てのロボットを対象 |
| Disallow | ロボットに訪問させたくないURLを記述します。記述した値で始まるURLが対象となります。 「Disallow: /search」と記述すると「/search.html」や「/search/index.html」などを排除しますが、「Disallow: /search/」と最後にスラッシュを付けて記述すると「/search/index.html」は排除しますが「/search.html」は排除し ません。 値を記述せずに「Disallow:」のみを記述した場合は、全てのURLに対して訪問を許します。 |
記述例
- ?（パラメータのつくurl）をブロックしたいとき
Disallow: /*? - URL の末尾に一致させるには
Disallow: /*.xls$