工具加载中...
在线 Robots.txt 生成工具介绍
在线 Robots.txt 生成工具可帮助站长快速生成标准 robots.txt 规则文件，支持设置全站爬虫策略、指定搜索引擎规则、限制目录、抓取间隔和 Sitemap 地址，并支持一键复制或下载文件。
生成后的 robots.txt 建议放置在网站根目录（如 https://yourdomain.com/robots.txt），便于搜索引擎蜘蛛按规则抓取页面，提升抓取效率与站点可控性。
核心功能
- 规则可视化配置：无需手写语法，勾选即可生成标准文本。
- 多搜索引擎策略：支持按国内、国外、特殊爬虫分别设置默认/允许/拒绝。
- 目录限制管理：可批量添加 Disallow 目录规则。
- Sitemap 与 Crawl-delay：支持追加站点地图地址与爬取间隔。
- 一键导出：支持复制结果与下载 robots.txt 文件。
使用教程
- 先设置“所有搜索引擎”策略（允许或拒绝）。
- 按需为特定搜索引擎单独配置抓取权限。
- 填写要限制抓取的目录（必须以 / 开头）。
- 按需填写 Crawl-delay（秒）与 Sitemap 地址。
- 点击“生成 Robots.txt”，复制或下载后上传到网站根目录。
字段说明
- User-agent：指定规则作用的爬虫，* 表示所有爬虫。
- Disallow：禁止访问路径，Disallow: / 表示禁止整站。
- Allow：允许访问路径，用于覆盖更细粒度规则。
- Crawl-delay：爬虫抓取间隔，单位为秒。
- Sitemap：声明站点地图地址，方便搜索引擎发现页面。
常见问题
1. robots.txt 是必须的吗？
强烈建议配置。即使规则较少，也应在根目录提供可访问的 robots.txt，避免搜索引擎读取异常。
2. 限制目录为什么必须以 / 开头？
这是 robots 规则常用路径写法，确保规则按网站根路径匹配，避免无效配置。
3. 设置 Disallow: / 会怎样？
表示禁止对应爬虫抓取整站，请谨慎使用，避免影响收录。
4. Sitemap 可以写多个吗？
可以。工具支持添加多个 Sitemap 地址，适用于多语言或分模块站点。