如何设置WordPress Robots.txt

梅西是WebFX的内容作者。拥有内容营销认证,她是制作作品的专家,充满了关于所有事情的数字营销的事实。你可以在UpCity的本周顶级数字营销文章中找到她的许多文章。当她不敲钥匙的时候,她在想为什么她的狗这么可爱。在推特上关注她@iinfinitestorm

搜索引擎优化(SEO)最佳实践如果您希望您的网站是派拉蒙吗在搜索结果中的排名并为您的页面带来更多合格的流量。虽然有许多项需要检查,但有一项是你特别不想忘记的——为WordPress创建robots.txt。但是什么是robots . txt文件?

我们有答案了!在这一页,我们将回答以下问题:

  • 什么是WordPress robots.txt文件?
  • 为什么我需要一个robots.txt文件为我的WordPress网站?
  • 如何用WordPress编辑robots.txt文件?
  • 如何测试我的robots.txt?

继续往下读,了解更多!

什么是WordPress robots.txt文件?

WordPress robots.txt是网站所有者创建的一个文件,告诉搜索引擎如何爬行和索引他们的网站。它为像谷歌这样的搜索引擎提供了一个爬行和索引指南,以确保最有价值的页面被索引,从而出现在搜索结果中。

为什么我需要robots.txt WordPress?

Robots.txt对于WordPress来说非常重要,因为它告诉搜索引擎不应该抓取哪些页面或文件夹。为了帮助您的网站出现在搜索结果中,谷歌必须抓取您的页面并建立索引。

如果您希望这些搜索机器人有效地抓取您的站点,您必须使用robots.txt文件引导它们。WordPress robots.txt不会阻止爬虫对你网站上的某些页面进行索引——这需要使用一个noindex元标记.但是,这个文件确实有助于引导爬虫程序远离这些页面,并将注意力集中在需要建立索引的更重要的页面上,如产品页面、服务页面或内容的帖子

为WordPress使用robots.txt文件还可以帮助您防止这些机器人降低网站速度.如果没有这个文件,机器人可能会试图抓取不同的页面,从而导致站点过载,最终导致一个加载很慢的经验.考虑加载速度慢的网站会让企业付出代价26亿美元的收入每年一次,你不想冒这个险。

总之,使用WordPress robots.txt文件有助于帮助您的企业获得最重要的页面在搜索结果中的排名,而不会在此过程中降低站点的速度。

如何用WordPress编辑robots.txt

现在您已经知道为什么robots.txt对您的站点非常重要出现在搜索结果中,您已经准备好采取行动,以帮助您的网站被抓取和索引。创建robots.txt文件有两种方法。您可以使用WordPress robots.txt插件,也可以选择手动完成。

txt插件#1:All in One SEO

创建robots.txt文件的第一个选项是All in One SEO或AIOSEO。这个插件附带了一个robots.txt文件生成器,您可以使用它来创建和编辑robots.txt文件。All In One SEO插件页面使用这个插件编辑你的robots.txt,遵循以下步骤:

  1. 登录到你的WordPress仪表盘
  2. 点击All in One SEO
  3. 点击特征管理器
  4. 向下滚动到文件编辑器并点击激活
  5. 回到All in One SEO菜单
  6. 点击三种选项卡
  7. 点击编辑

从这里开始,您可以输入您的WordPress robots.txt文件,然后保存更改,使其在您的网站上生效!

txt插件#2:Yoast SEO

另一个你可以使用的WordPress robots.txt插件是Yoast SEO。Yoast SEO使您能够在您的网站上创建和编辑robots.txt文件。优ast SEO插件页面要使用这个插件来编辑你的文件,请遵循以下步骤:

  1. 去你的WordPress仪表板
  2. 点击搜索引擎优化
  3. 点击工具
  4. 点击文件编辑器
  5. 编辑你的robots . txt文件

编辑robots.txt文件后,就可以添加文本并保存它以进行操作。

WordPress robots . txt。手动选择

当你学习如何用WordPress编辑robots.txt时,你会发现你可以选择手动输入文件,而不是使用插件。要做到这一点,你需要一个文件传输协议(FTP)比如FileZilla来帮助你。

按照以下步骤创建你的WordPress robots.txt文件:

  1. 打开一个文本编辑器(例如,记事本)
  2. 把你要用的编码打出来
  3. 将文件保存为txt文件类型
  4. 将您的网站连接到FTP
  5. 导航到公共HTML文件夹
  6. 将txt文件从您的计算机上传到服务器

如何测试你的WordPress robots.txt

现在您已经知道了如何用WordPress编辑robots.txt,您可以添加特定的规则和边界来抓取站点。添加robots.txt文件后,您希望确保该文件正常工作,并且搜索引擎能够抓取您的站点。你可以使用谷歌搜索控制台来测试你的robots.txt。

谷歌搜索控制台提供了一个robots . txt测试工具来帮助您查看谷歌是否可以抓取您的站点。这是如何检查

  1. 打开三种测试工具
  2. 滚动robots.txt代码以找到高亮显示的语法的警告而且逻辑错误
  3. 输入URL在您的网站上的一个页面的下面的文本框
  4. 选择用户代理您希望在下拉列表中进行模拟
  5. 单击测试按钮

点击测试按钮后,它会显示“已接受”或“已阻止”。此通知将告诉您谷歌是否可以抓取您的页面。通常,您希望看到“ACCEPTED”,除非您正在测试不希望谷歌抓取和索引的页面的URL。如果任何URL显示为“BLOCKED”,而您不想被阻止,那么您必须回到robots.txt文件中,进行更改,保存它们,并尝试再次测试该URL。

需要帮助为WordPress编辑robots.txt吗?

通过为WordPress添加robots.txt,您将帮助谷歌更有效地抓取和索引您的网站,因此您最有价值的页面可以出现在搜索结果中。但是如果你对如何添加、编辑和测试你的WordPress robots.txt文件感到困惑或不知所措,WebFX可以帮助你。

我们有一个超过450名营销专家的团队,他们知道如何优化robots.txt文件。我们不仅可以在这方面帮助您,而且可以帮助您实现其他搜索引擎优化的最佳实践,从字集成内容创作.如果你准备好开始,在线联系我们或者今天打电话给我们888-601-5359和战略家谈谈我们的WordPress SEO服务

WebFX职业

加入我们的使命,为全球的企业提供业界领先的数字营销服务,同时建立您的个人知识和个人成长。

我们招聘! 视图30 +职位空缺!