如果你想让搜索引擎这么做抓取和索引你的网站正确地，您需要使用robots元指令。但是如果你不熟悉robots元标签，你可能不知道从哪里开始。
这就是为什么我们编译了这个指南来帮助您实现robots标签的原因搜索引擎优化目的。本指南将包括以下信息:
继续阅读，了解更多!如果你想获得在线营销的最新建议和技巧，订阅我们的电子邮件通讯！
什么是机器人元指令?
机器人元指令，也被称为机器人元标签，是一段代码，为搜索引擎爬虫提供如何抓取和索引你的网站的指导。
这些标记对于确保正确的页面被索引以出现在搜索结果中至关重要。
robots .txt vs. robots元指令
在继续之前要提到的一个重要区别是robots . txtVs.机器人元指令。当我们看到这两者时，它们似乎在做同样的事情——在某种程度上确实如此——但它们有一个关键的区别。robots . txt提供建议了解如何在您的网站上抓取和索引页面。
它更多的是一个关于搜索引擎如何进行的建议。
另一方面，机器人元指令对于如何抓取和索引站点的指令更加严格。
有两种类型的机器人需要知道元指令
您可以在页面上设置两种类型的元指令，以帮助搜索引擎抓取和索引您的页面。我们将简要回顾一下:
元机器人标签
第一种可以实现的SEO机器人标签是元机器人标签。meta robots标记允许您在页面级别控制索引行为。你将这些代码实现到你网站的标题中。
代码如下所示:
< meta name = "机器人" content = "(参数)" >
当您使用这个标记时，您可以在标记中实现多个参数(我们接下来将讨论参数)，只要它是针对同一个机器人的。
X-robots-tag
第二种可以创建的robots元指令是x-robots-标签。此标记使您能够在页面级别上控制索引而且用于特定的页面元素。你也可以在你网站的标题中实现这个标签。
这个标签的一个例子如下:
头(" X-Robots-Tag:[参数]"，true);
总的来说，x-robots-标签比meta robots标签提供了更多的灵活性。
11种需要知道的参数
当你设置机器人的元指令时，你需要在代码中设置参数。这些参数帮助搜索引擎爬虫了解如何抓取和索引页面。
以下是需要了解的11个关键参数:
| 参数名称 | 描述 |
|---|---|
| 所有 | 索引的快捷方式，跟随 |
| 遵循 | 爬虫应该跟踪所有链接并将链接权益传递给页面 |
| Nofollow | 搜索引擎不应该将任何权益传递给链接页面 |
| 指数 | 爬虫应该索引的页面 |
| Noindex | 爬虫程序不应该为页面建立索引 |
| Noimageindex | 爬虫程序不应该索引页面上的任何图像 |
| Max-snippet | 为搜索结果设置文本片段的最大字符数 |
| 没有一个 | noindex, nofollow的快捷方式 |
| Nocache | 当该页出现在搜索结果中时，搜索引擎不应该显示该页的缓存链接 |
| Nosnippet | 搜索引擎不应该显示页面的片段(像一个元数据描述) |
| Unavailable_after | 搜索引擎不应该在设定的日期之后建立索引 |
这些是您在实现robots元指令和告诉像谷歌这样的搜索引擎如何为您的站点建立索引时将使用的参数。
关于机器人元指令的常见问题
对机器人元指令有一些挥之不去的问题吗?浏览我们方便的常见问题解答!
每个搜索引擎都支持所有参数吗?
不。在我们上面列出的11个参数中，并不是每个搜索引擎在索引你的网站时都支持它们。
谷歌是唯一一个识别所有共享参数的站点。除此之外，不同的搜索引擎也不尽相同。
例如，必应识别许多标签，但它不识别noimageindex。因此，如果你的目标是在其他搜索引擎上使用robots元标签，你可能需要做一些研究，看看哪些标签是有效的。
你需要同时使用meta robots标签和x-robots标签吗?
不!使用这两种类型的元标记是多余的。
你可以选择最适合你网站需要的。
你能在第三方站点上实现机器人元指令吗?
有这么多的企业使用第三方网站，比如WordPress或Shopify为了托管他们的网站，许多人想知道他们是否可以实现robots元标签。简言之,是的。
许多第三方主机允许您为站点实现所需的机器人元指令。
如何实现它们取决于站点主机。
例如，在WordPress中，你可以使用Yoast SEO插件来添加元指令。对于一个网站建设者来说Squarespace，您可以更改页面设置或使用代码注入添加所需的标记。
你可能需要做一些研究，找出如何在你选择的网站构建器上实现搜索引擎优化的机器人标签。
为什么机器人的元指令很重要?
在了解了机器人元指令之后，您可能想知道为什么这个特性很重要。为什么在站点上实现这些代码如此重要?
你想要在你的网站上实现robots元标签的主要原因有两个:
- 它可以帮助你控制搜索结果的排名:实现这些标记使您能够更好地控制搜索引擎如何抓取和索引您的页面。它最终允许您引导搜索引擎正确抓取您最有价值的页面，以便进行排名。
- 它阻止了价值很小的页面被索引:有些页面，如管理页面或感谢页面，对你的企业排名没有什么价值。通过实现机器人元指令，可以防止搜索引擎在这些页面上浪费爬行预算。
需要帮助实现机器人元指令?
如果你在为SEO实现robots标签时感到不知所措，那么你并不孤单。尝试编辑站点的后端可能是一项艰巨的任务，特别是如果您不熟悉编码。
这就是WebFX的专家可以提供帮助的地方。
我们有一个超过450+的营销专家团队，可以帮助您实现您的机器人元指令。
与我们的搜索引擎优化服务，我们可以帮助你做更多的实现你的机器人元标签-我们可以帮助你优化你的网站，以在搜索结果中排名更好。更高的排名意味着你的业务有更多合格的流量和线索。准备好帮助你的网站在搜索结果中排名更好了吗?
在线联系我们或者今天打电话给我们888-601-5359和战略家谈话!
