什么是 Robots 标签？它与 robots.txt 有什么区别？

虽然 robots.txt 文件是在站点级别控制爬虫行为，但 Meta Robots 标签 提供了更细粒度的页面级控制。它直接写在 HTML 文档的 <head> 部分，能让您针对特定的某个页面（如隐私政策页、搜索结果页或感谢页）告诉搜索引擎如何处理它。这解决了“我想让整个网站被抓取，但唯独不想让这一个页面出现在搜索结果里”的具体问题。

核心指令深度解析

index / noindex： 决定该页面是否应该出现在搜索引擎的索引库中。如果设置为 noindex ，用户将无法通过搜索关键词找到该页面。
follow / nofollow： 决定爬虫是否应该通过该页面上的链接继续抓取其他页面。这对于防止权重流失或屏蔽不受信任的链接非常有用。
noarchive： 禁止搜索引擎缓存该页面的快照。对于内容频繁更新或具有时效性的页面，这能确保用户始终看到最新的内容。
nosnippet： 禁止在搜索结果中显示该页面的文字描述或预览。

为什么要使用 Robots 标签生成器？

手动编写 Meta 标签容易出现拼写错误或语法不规范，导致 SEO 策略失效。本工具可以帮助您：

避免语法冲突： 工具会自动处理不同指令之间的优先级关系，确保生成的代码完全合规。
快速生成组合指令： 一键配置索引、跟踪、快照、翻译等多种行为的组合。
即时代码预览： 边选边看，生成的代码可以直接粘贴到网页代码中。

常见应用场景 (FAQ)

Q: 我已经用了 robots.txt 屏蔽了目录，还需要用 Meta Robots 吗？
A: 建议使用。如果其他网站链接了该页面，即使 robots.txt 屏蔽了抓取，搜索引擎仍可能索引该 URL。使用 noindex 标签是彻底从搜索结果中删除页面的最可靠方法。

Q: none 指令是什么意思？
A: 它是 noindex, nofollow 的简写形式，表示完全不希望搜索引擎处理这个页面。

Q: 修改标签后多久能生效？
A: 这取决于搜索引擎下次爬取您页面的时间。通常在几天到几周不等，您可以通过 Google Search Console 提交重新抓取请求。