robots.txt 生成

功能

• 四种策略：全部放行、只拦 AI 训练爬虫、全部禁止、自定义名单
• 自定义名单可填任意爬虫名（逗号、空格、顿号、全角逗号都认）
• 禁止路径会自动补开头的斜杠与目录末尾斜杠，并去重
• 可选输出 Sitemap 行与 Crawl-delay
• 生成的文件注释一律英文（它会公开在你的站点上）
• 改任一选项立刻重排，不需要点按钮
• 不联网、不上传，全部在本机生成

使用方法

1. 选一个策略
2. 按需要填禁止路径、Sitemap 与 Crawl-delay
3. 点「复制」取走内容，保存为站点根目录下的 robots.txt

常见问题

拦了 AI 爬虫，它们就真的不抓了吗？

只对守规矩的有效。 OpenAI、Anthropic、Google、Apple 这些会把它们的爬虫 token 公开放进文档里，也声明会遵守 robots.txt —— 拦住之后它们确实会停止抓取（`Google-Extended` 与 `Applebot-Extended` 表达的是「允许抓取、但不要拿去训练」，这两个尤其是有意配合的开关）。 但任何人都可以无视这个文件。一个改了 UA 的爬虫、或者一个不在乎的抓取服务，你从 robots.txt 上完全拦不住。要真正保护内容，得靠登录、限流、或者干脆不公开。 另外这份名单本身会过时：新的训练爬虫每几个月就冒出来一批，生成的文件里写着复核日期，就是为了提醒这一点。

`Disallow: /admin` 和 `Disallow: /admin/` 有区别吗？

有，而且区别经常被忽略。 `Disallow: /admin` 会匹配所有以 `/admin` 开头的路径 —— 包括 `/administrator`、`/admin-panel.html`，那些往往不是你想禁的。加上末尾斜杠之后专指那个目录。 所以这个工具在你只写目录名（不含点号、星号、`$`）时会自动补上末尾斜杠，写文件名叫 `/admin.html` 或通配 `/a/*.pdf$` 时则原样保留。

为什么生成的注释是英文的？

因为这份文件会公开在你的站点上 —— 任何访问 `/robots.txt` 的人（包括各家爬虫的运维）都会看到它。一份中文注释的 robots.txt 对国际爬虫的运维不友好，而注释的作用本来就是「让读的人明白这段为什么这么写」。 只有爬虫名与路径是你自己的内容，其余部分是生成器写的，所以那部分固定英文。顺带一提，这个决定让生成结果与界面语言无关 —— 你切到日文界面，产出还是一样。