robots.txt 生成器：屏蔽 AI 爬虫并添加站点地图

使用方法

爬虫遵循其 user-agent 行所点名的分组。如果没有分组点名它，爬虫就遵循以星号开头的分组，它适用于所有爬虫（RFC 9309 第2.2.1节）。Google 的 robots.txt 页面（英文）说，使用与该爬虫最具体匹配的 user-agent 所在的分组，其他分组会被忽略。

当一条禁止路径和一条允许路径都匹配同一地址时，较长的路径生效。若两者等长，则允许路径生效（RFC 9309 第2.2.2节）。Google 说，在这种情况下它采用限制最少的规则。

下面每个标识都是其运营方在自己文档中使用的名称，但 Bytespider 除外，因为没有找到其官方页面。用途按运营方的描述列出。

标识	运营方与用途	运营方页面
GPTBot	OpenAI：抓取可能用于训练其生成式 AI 基础模型的内容	OpenAI 机器人页面（英文）
ClaudeBot	Anthropic：收集可能用于训练的网络内容	Anthropic 爬虫帮助页面（英文）
Google-Extended	Google：控制抓取的内容能否用于 AI 模型开发；它不影响搜索收录或排名	Google 爬虫文档（英文）
PerplexityBot	Perplexity：在其搜索结果中展示并链接网站，不用于为 AI 基础模型抓取内容	Perplexity 机器人指南（英文）
CCBot	Common Crawl：建立开放的网络抓取数据库；robots.txt 是退出的方式	Common Crawl CCBot 页面（英文）
Applebot-Extended	Apple：控制内容能否用于训练 Apple 的基础模型	Apple 的 About Applebot 页面（英文）
Bytespider	字节跳动：未确认，因为没有找到官方爬虫页面	未找到
meta-externalagent	Meta：训练基础 AI 模型，或直接为内容建立索引	Meta 网络爬虫页面（英文）

它不能让页面不出现在 Google 中。Google 的 robots.txt 介绍页面（英文）说，robots.txt 不是让网页不出现在 Google 中的机制；为此请使用 noindex 规则或密码保护。
它不能阻止选择无视它的爬虫。它只是请求爬虫不要访问其中点名的路径。
Google 忽略 Crawl-delay，因此您在这里设置的抓取延迟对 Google 没有效果。

默认输入允许所有爬虫，禁止 /admin/、/checkout/ 以及所有带排序参数的地址，但保持 /admin/help/ 开放，因为这个允许路径比禁止的 /admin/ 更长。AI 爬虫被屏蔽，文件末尾列出了两个站点地图。

下表显示三个地址由哪一行决定。

robots.txt 能让页面不出现在 Google 搜索结果中吗？

不能。Google 的 robots.txt 介绍页面（英文）说，该文件不是让网页不出现在 Google 中的机制。若要做到这一点，请使用 noindex 规则或密码保护。

为什么每个 AI 分组都重复禁止的路径？

爬虫只读取点名它的分组，而针对所有爬虫的分组对它无效。因此允许设置会在它自己的 Allow: / 行下重复您禁止的路径，这样这些路径对 AI 爬虫仍然是关闭的。

Google 会遵循 Crawl-delay 行吗？

不会。Google 的 robots.txt 页面（英文）说，crawl-delay 等其他字段不受支持。Anthropic 表示其爬虫支持这个非标准的 Crawl-delay 扩展。

屏蔽 Google-Extended 会影响我在 Google 搜索中的排名吗？

不会。Google 的爬虫文档（英文）说，Google-Extended 不影响网站在 Google 搜索中的收录，也不作为排名信号。

Bytespider 这个标识得到其运营方的确认了吗？

没有。在本工具检查时，没有找到字节跳动爬虫的官方页面，因此该标识来自第三方网站。在依赖这条规则之前，请在服务器日志中查找带有该名称的请求。

应该把文件放在哪里？

放在网站的顶级文件夹中，使它能在根地址下以 robots.txt 名称打开。Google 的页面（英文）说，该文件必须放在网站的顶级目录中。

这个工具会保存我输入的内容，或把它发送到服务器吗？

不会。文件在您的浏览器中生成。您输入的路径和站点地图地址不会发送给我们，也不会保存在任何地方。

数据和文字最近核对于2026年11月10日星期二。