robots.txt作成：AIクローラーとサイトマップ

使い方

すべてのクローラーの既定を選び、禁止するパスに禁止するパスを1行に1つずつ入力します。
遮断した範囲の中で開けておくフォルダーは許可するパスに入力し、サイトマップのアドレスを入力します。
AIクローラーの扱いを選びます。グループを追加しないか、すべてを遮断するか、すべてを許可するかです。
ファイルをコピーするか、ダウンロードして、サイトの最上位のフォルダーにrobots.txtとして保存します。

クローラーがファイルを読む仕組み

クローラーは、自分の名前がuser-agentの行に書かれたグループに従います。どのグループにも名前がない場合は、すべてのクローラーに当てはまるアスタリスクのグループに従います（RFC 9309、2.2.1節）。Googleのrobots.txtのページは、クローラーに一致する最も具体的なuser-agentのグループを使い、ほかのグループは無視すると説明しています。

禁止したパスと許可したパスの両方がアドレスに一致する場合、長いパスが優先されます。同じ長さなら、許可したパスが優先されます（RFC 9309、2.2.2節）。Googleは、その場合に最も制限の少ない規則を使うと説明しています。

Googleは、ファイルがサイトの最上位のディレクトリにあり、名前がrobots.txtであることを求めています。
Googleは、理解できない行を無視し、ファイルの最初の500 KiBだけを読みます。

このツールのAIクローラー

下の各トークンは、それを運営する会社が自分の文書で示す名前です。ただし、Bytespiderだけは公式のページが見つかりませんでした。目的は、運営者の説明のとおりです。

トークン	運営者と目的	運営者のページ
GPTBot	OpenAI：生成AIの基盤モデルの学習に使われるかもしれないコンテンツをクロールします	OpenAIのボットのページ
ClaudeBot	Anthropic：学習に役立つかもしれないウェブのコンテンツを集めます	Anthropicのクローラーのヘルプページ
Google-Extended	Google：クロールしたコンテンツをAIモデルの開発に使ってよいかを制御します。Google検索への掲載やランキングには影響しません	Googleのクローラーの文書
PerplexityBot	Perplexity：検索結果にウェブサイトを表示し、リンクします。AIの基盤モデル向けのコンテンツのクロールには使われません	Perplexityのボットのガイド
CCBot	Common Crawl：ウェブのクロールデータのオープンなリポジトリを作ります。robots.txtは、そこから外れる方法です	Common Crawl CCBotのページ
Applebot-Extended	Apple：Appleの基盤モデルの学習にコンテンツを使ってよいかを制御します	AppleのAbout Applebotのページ
Bytespider	ByteDance：確認されていません。公式のクローラーのページが見つからなかったためです	見つからず
meta-externalagent	Meta：基盤のAIモデルの学習、またはコンテンツの直接のインデックス	Metaのウェブクローラーのページ

robots.txtにできないこと

Googleにページを出さないことはできません。Googleのrobots.txtの紹介は、robots.txtがウェブページをGoogleから外すための仕組みではないと説明しています。そのためには、noindexの規則かパスワードによる保護を使ってください。
無視することを選ぶクローラーを止めることはできません。ファイルは、クローラーに名前の付いたパスを避けるよう求めるだけです。
Googleは、Crawl-delayを無視します。そのため、ここで設定したクロールの間隔はGoogleには効きません。

例：AIクローラーを遮断するショップ

既定の入力では、すべてのクローラーを許可し、/admin/、/checkout/、並べ替えのパラメーターを持つすべてのアドレスを閉じ、/admin/help/を開けたままにします。そのアドレスは、禁止した/admin/より長い許可のパスだからです。AIクローラーは遮断され、2つのサイトマップはファイルの最後に並びます。

表は、3つのアドレスについて、ファイルのどの行が決めるかを示します。

クローラー	アドレス	決める規則
Googlebot（独自のグループがない）	/admin/login	Disallow: /admin/
Googlebot（独自のグループがない）	/admin/help/faq.html	Allow: /admin/help/
GPTBot	/products/shirt.html	Disallow: /

よくある質問

robots.txtで、Google検索の結果からページを外せますか？

いいえ。Googleのrobots.txtの紹介は、このファイルがウェブページをGoogleから外すための仕組みではないと説明しています。外すには、noindexの規則かパスワードによる保護を使ってください。

なぜ、AIグループごとに禁止したパスを繰り返すのですか？

クローラーは、自分の名前を挙げたグループだけを読み、すべてのクローラー用のグループは無視します。そのため、許可の設定では、禁止したパスをそのグループ自身のAllow: /の下に繰り返し、AIクローラーにもそれらのパスを閉じたままにしています。

GoogleはCrawl-delayの行に従いますか？

いいえ。Googleのrobots.txtのページは、crawl-delayなどのほかのフィールドには対応していないと説明しています。Anthropicは、そのクローラーが標準外のCrawl-delayの拡張に対応していると説明しています。

Google-Extendedを遮断すると、Google検索での順位に影響しますか？

いいえ。Googleのクローラーの文書は、Google-ExtendedがGoogle検索への掲載に影響せず、ランキングのシグナルとしても使われないと説明しています。

Bytespiderのトークンは、運営者が確認していますか？

いいえ。このツールを確かめた時点では、ByteDanceのクローラーのページは見つからず、トークンは第三者のサイトから得られたものです。規則に頼る前に、サーバーのログでその名前のリクエストを探してください。

ファイルはどこに置けばよいですか？

サイトの最上位のフォルダーに、robots.txtという名前で置きます。そうすると、ルートのアドレスで開けます。Googleのページは、ファイルをサイトの最上位のディレクトリに置く必要があると説明しています。

ツールは、入力した内容を保存したり、サーバーに送ったりしますか？

いいえ。ファイルはお使いのブラウザの中で書かれます。入力した内容が運営者に送られたり保存されたりすることはありません。

出典

数値と文章の最終確認日：2026年11月10日火曜日。

結果

使い方

クローラーがファイルを読む仕組み

このツールのAIクローラー

robots.txtにできないこと

例：AIクローラーを遮断するショップ

よくある質問

出典

お客様のプライバシー