什么是爬行性和索引性?和来自互联网营销团队的Will一起观看这段视频，找出答案!
记录:谷歌的搜索引擎结果页面(SERPs)可能看起来像魔术，但当你仔细观察时，你会发现由于爬行和索引，这些站点会出现在搜索结果中。这意味着你的网站要显示在搜索结果中，它需要爬行和索引。
搜索引擎我们把这些机器人叫做爬虫。
他们基本上是在互联网上找到网站，抓取它们的内容，跟踪网站上的任何链接，然后为他们抓取的网站创建一个索引。
索引是一个巨大的url数据库，像谷歌这样的搜索引擎通过它的算法进行排名。当您搜索某个内容并加载结果页面时，您将看到爬行和索引的结果。它是搜索引擎根据一系列不同的因素筛选出的所有与你的搜索相关的网站。
我不会涉及谷歌和其他搜索引擎用来找出与搜索相关的内容的算法，但是您可以请浏览我们的网站要学习更多的知识。
什么是爬行性和索引性?
对抓取的意味着搜索引擎爬虫可以阅读和跟随网站内容中的链接。你可以想象这些爬虫像蜘蛛一样在网络上跟踪大量的链接。
可索引性意味着你允许搜索引擎显示站点的页面在搜索结果中。
如果您的站点是可抓取和可索引的，那就太好了!如果不是这样，您可能会从谷歌的搜索结果中失去很多潜在的流量。
失去的流量转化为失去的线索和业务的收入。
你怎么知道你的网站被索引了?
很容易。进入谷歌或其他搜索引擎，输入site:…
然后是你的网站地址。您应该会看到站点上有多少页面被索引的结果。
如果你什么都没看到，别担心，我会告诉你怎么修的!
如何抓取和索引您的网站页面?
内部链接
您希望爬虫程序访问站点上的每个页面，对吗?
然后确保网站上的每个页面都有指向它的链接。
因此，以Target为例，您可以很容易地通过其导航中的链接从一个页面跳转到另一个页面。如果你点击女性服装，你可以看到更多不同类型服装的链接，然后链接到菜单中更具体类型的服装。有链接到每一个页面，爬虫会跟随。
如果你没有很多内部链接，HTML站点地图可以给爬虫的链接跟随在您的网站。
HTML站点地图是给人和搜索引擎用的，它们列出了你站点上每个页面的链接。
你通常可以在网站的页脚找到它们。
但最好的做法是在网站的所有相关内容和导航标签中都包含指向每个页面的链接。
反向链接
同样，链接对你的网站很重要。但是反向链接比内部链接更难获得，因为它们来自你业务之外的人。
当其他站点包含到您的某个页面的链接时，您的站点会得到一个反向链接。因此，当爬虫程序正在通过该外部网站，他们将通过该链接到达您的网站，只要他们被允许遵循它。
如果你在内容中链接到其他网站，同样的情况也会发生。
反向链接很难获得，但请查看我们的链接建设视频学习如何为你的生意赚到这些钱。
寻找一个一体化的SEO审计工具?你已经找到了。
SEO检查提供关键指标的数据给你:
- 完整的搜索引擎优化分
- 年级的内容
- 网站速度分析
- 和更多。
XML站点地图
这是很好的练习提交一个XML站点地图将您的网站转移到谷歌搜索控制台。查看我们关于XML站点地图的视频来了解它们。
但不是现在。
这是我闪耀的时刻。这里有一个简短的总结。XML站点地图应该包含您的所有页面url，这样爬虫程序就知道您希望它们抓取什么。
它们不同于HTML站点地图，因为它们只是为爬虫提供的。
你可以自己创建一个XML网站地图，使用XML网站地图工具，甚至使用插件，如果它与你的网站的CMS兼容。但是不要在站点地图中包含你不想抓取和索引的链接。这可以是一个真正有针对性的电子邮件活动的登陆页面。
robots . txt
这个比较有技术含量。一个robots . txt文件是站点后端上的一个文件，它告诉爬虫程序不能抓取哪些内容并在站点上建立索引。如果您熟悉robots.txt，请确保您没有意外地阻塞爬虫程序的工作。
如果您阻塞了一个爬虫程序，它将看起来像这样。术语user-agent指的是爬行你的网站的机器人．例如，谷歌的爬虫叫Googlebot, Bing的叫Bingbot。
如果你不知道如何识别问题或修改你的robots.txt文件，与专家合作以避免破坏你的网站。
好了，这就是我对爬行性和索引性的全部介绍!如果你想改进你网站的SEO策略，不要犹豫联系我们!
另外，点击我们的博客获取更多的网络营销知识!再见!
