什么是 Robots 标签？它与 robots.txt 有什么区别？
虽然
robots.txt
文件是在站点级别控制爬虫行为，但
Meta Robots 标签
提供了更细粒度的页面级控制。它直接写在 HTML 文档的
<head>
部分，能让您针对特定的某个页面（如隐私政策页、搜索结果页或感谢页）告诉搜索引擎如何处理它。这解决了“我想让整个网站被抓取，但唯独不想让这一个页面出现在搜索结果里”的具体问题。
核心指令深度解析
-
index / noindex：
决定该页面是否应该出现在搜索引擎的索引库中。如果设置为
noindex，用户将无法通过搜索关键词找到该页面。 - follow / nofollow： 决定爬虫是否应该通过该页面上的链接继续抓取其他页面。这对于防止权重流失或屏蔽不受信任的链接非常有用。
- noarchive： 禁止搜索引擎缓存该页面的快照。对于内容频繁更新或具有时效性的页面，这能确保用户始终看到最新的内容。
- nosnippet： 禁止在搜索结果中显示该页面的文字描述或预览。
为什么要使用 Robots 标签生成器？
手动编写 Meta 标签容易出现拼写错误或语法不规范，导致 SEO 策略失效。本工具可以帮助您：
- 避免语法冲突： 工具会自动处理不同指令之间的优先级关系，确保生成的代码完全合规。
- 快速生成组合指令： 一键配置索引、跟踪、快照、翻译等多种行为的组合。
- 即时代码预览： 边选边看，生成的代码可以直接粘贴到网页代码中。
常见应用场景 (FAQ)
Q: 我已经用了 robots.txt 屏蔽了目录，还需要用 Meta Robots 吗？
A: 建议使用。如果其他网站链接了该页面，即使 robots.txt 屏蔽了抓取，搜索引擎仍可能索引该
URL。使用
noindex
标签是彻底从搜索结果中删除页面的最可靠方法。
Q:
none
指令是什么意思？
A: 它是
noindex, nofollow
的简写形式，表示完全不希望搜索引擎处理这个页面。
Q: 修改标签后多久能生效？
A: 这取决于搜索引擎下次爬取您页面的时间。通常在几天到几周不等，您可以通过 Google Search
Console 提交重新抓取请求。