?返回工具列表
☀?/button>
robots.txt 生成?/h1>
生成搜索引擎爬虫配置文件
快速模?/h4>
允许所?/button>
阻止所?/button>
标准配置
WordPress
爬虫规则
User-Agent
* (所有爬?
Googlebot
Bingbot
Baiduspider
Yandex
Disallow
Allow
×
Disallow
Allow
×
+ 添加规则
其他设置
Sitemap URL (可?
Crawl-delay (? 可?
添加注释说明
生成?robots.txt
复制
下载文件