⚡ 快速预设
🎯 选择爬虫
仅使用字母、数字、连字符或下划线,按 Enter 添加
📜 爬取规则
🗺️ Sitemap
填写完整的 http:// 或 https:// 地址;网站预设不会猜测你的域名。
⚙️ 高级选项
部分爬虫专用扩展;Google 不支持此指令。请输入 0 到 60 的整数。
Yandex 专用扩展,其他搜索引擎可能忽略;只填写主机名,不含协议或路径。
📄 生成的 robots.txt
robots.txt

💡 robots.txt 说明

  • User-agent : 指定规则适用的爬虫
  • Disallow : 禁止爬取的路径
  • Allow : 允许爬取的路径
  • 同时匹配时,路径更长的规则优先;长度相同时 Allow 优先。
  • 以上优先级说明适用于 Google;其他爬虫请以各自文档为准。
  • Sitemap : 网站地图位置
  • 文件应放在网站根目录: example.com/robots.txt

⚠️ 注意事项

robots.txt 只是一个建议,恶意爬虫可能会忽略它。对于敏感内容,应使用服务器端的访问控制。

怎么用

  1. 选择预设或自定义 User-agent
  2. 添加 Allow / Disallow 规则
  3. 填写 Sitemap 与高级选项
  4. 复制或下载 robots.txt 到网站根目录

常见问题

  • robots.txt 能保证不被抓吗? 不能强制;它是礼貌协议,敏感内容还需登录与权限。
  • Sitemap 要写进 robots 吗? 建议写,方便发现站点地图。
  • Disallow 全站会怎样? 搜索引擎可能不再抓取公开内容,谨慎用于生产前台。
  • Crawl-delay 都支持吗? 不支持。Google 文档明确说明不支持该扩展,其他爬虫也可能忽略。

robots.txt 是什么?

robots.txt 放在网站根目录,用于向遵守协议的搜索引擎爬虫提示哪些路径可以抓取。它是公开文件,不能当作安全机制;真正的私密内容应使用鉴权、权限与 noindex 等组合策略。可以先用本工具生成规则,再访问网站根目录确认文件能够正常返回。

robots.txt 与 Sitemap、noindex 有什么区别?

robots.txt 主要控制爬虫是否请求某个路径,Sitemap 用于提供希望搜索引擎发现的 URL 列表,noindex 则是页面级的索引控制信号。Disallow 不等于删除索引,也不能阻止已经公开的敏感 URL 被别人访问;配置前应根据抓取、发现和索引三个不同目标选择合适的方法。

Robots.txt 生成器支持什么?

推荐写法

  1. 先保证前台重要频道可抓取
  2. 屏蔽后台、购物车、内搜死循环参数页等
  3. 在文件中声明 Sitemap 地址
  4. 发布后检查根目录返回内容,并参考 Google robots.txt 官方文档 验证规则

易错点

配置示例与发布检查

普通内容站可以让公开页面保持可抓取,同时屏蔽后台和内部搜索路径。例如,User-agent: * 配合 Disallow: /admin/ 和 Disallow: /search,再添加你自己域名下的完整 Sitemap URL。电商网站还应根据实际 URL 结构检查购物车、结算页和筛选参数,避免误伤分类页或商品页。

生成文件后,确认它位于域名根目录、使用纯文本格式、Sitemap 使用完整的 HTTP 或 HTTPS 地址且可以访问,并在不同环境部署时检查域名是否正确。robots.txt 只对规范爬虫提供抓取提示,不能替代登录验证、服务器权限或敏感数据保护。

不同网站类型的配置思路

内容站通常只需要保持文章、分类和公开资源可抓取,同时屏蔽后台与内部搜索路径。WordPress 网站可以重点检查 /wp-admin/、登录入口和搜索参数;电商网站则要避免误屏蔽商品页、分类页和重要筛选页面。SPA 网站还应确认内容 URL、静态资源和渲染入口没有被规则意外禁止。

发布后的检查清单

  1. 确认文件位于域名根目录,并能通过 /robots.txt 返回。
  2. 确认响应状态为 200,内容为纯文本格式。
  3. 确认 Sitemap 地址完整、正确且可以访问。
  4. 检查没有误写 Disallow: /,也没有屏蔽重要页面。
  5. 分别核对测试环境和生产环境使用的域名与 Sitemap 地址。

Robots.txt 常见问题

robots.txt 能保证不被抓吗? 不能强制;它是礼貌协议,敏感内容还需登录与权限。

Sitemap 要写进 robots 吗? 建议写,方便发现站点地图。

Disallow 全站会怎样? 搜索引擎可能不再抓取公开内容,谨慎用于生产前台。

Crawl-delay 都支持吗? 不支持。Google 文档明确说明不支持该扩展,其他爬虫也可能忽略。

🗂️ 按分类浏览更多工具

📈 SEO 工具 (7个) ▼
⚖️ 法律合规 (4个) ▼
🌻 园艺工具 (3个) ▼
🏠 房产工具 (4个) ▼
📚 查看全部 1000+ 工具