🌙
首页
?/span> Robots.txt生成
🤖 Robots.txt生成?/h1>
基本设置
Sitemap URL
爬虫延迟 (秒,可?
快速预?/div>
允许所?
禁止所?
自定义规?
自定义规?/div>
User-Agent
所有爬?(*)
Googlebot
Bingbot
百度蜘蛛
搜狗蜘蛛
Allow
Disallow
删除
+ 添加规则
生成的robots.txt
复制代码