robots.txtのクロール許可判定ツール

使い方

1. robots.txtファイルを、robots.txtファイルに貼り付けます。
2. パスまたはアドレスにパスか完全なアドレスを、クローラー名にクローラーの名前を入力します。
3. このクローラーに許可されるかを読み、理由を知るために決め手になったルールの行を読みます。

判定の仕組み

ツールは最初にグループを選びます。クローラーの名前を挙げたuser-agentの行（大文字と小文字を区別しない）が1つのグループになります。どれにも名前がなければ、アスタリスクのすべてのクローラー用のグループを使います（RFC 9309、2.2.1節）。

そのグループの中で、先頭の文字からアドレスに一致するパターンを持つすべての規則が比べられます。最も長いパターンが優先され、同じ長さなら許可の規則が優先されます（RFC 9309、2.2.2節）。一致する規則がなければ、アドレスは許可されます。/robots.txtというファイル自体は、常に許可されます。

• パターンのアスタリスク（*）は任意の文字列に一致し、パターンの末尾のドル記号（$）は一致をそこで終わらせます。
• 文字、数字、-._~のエスケープは、比べる前にデコードされるため、%7Eと~は同じです。
• コメントはシャープ記号（#）から始まり、空のAllowまたはDisallowの値は無視されます。

GoogleとRFCが一致する点

Googleのrobots.txtのページも、同じ規則を説明しています。最も具体的に一致するuser-agentのグループが使われ、パスの長さに基づく最も具体的な規則が優先され、衝突の場合は最も制限の少ない規則が優先されます。ツールは、両者の言葉が異なる場合にRFCに従いますが、これらの規則には違いを見つけていません。

• Googleはパスとクエリを比べます。RFCは、クエリがパスの一部かどうかを述べていません。このツールは、Googleのページの例と同じくクエリも比べます。
• RFCは、空の値が何を意味するかを述べていません。Googleは無視し、このツールも無視します。

よくある質問