搜索引擎蜘蛛对搜索引擎来说就是信息来源所在对于网站站长，总是希望网站对搜索引擎蜘蛛友好，希望蜘蛛能在自己的网站多待会多抓取点网页。其实这些蜘蛛又何尝不想多抓取点页面，多更新点页面呢，只不过互联网信息过于巨大，有时候蜘蛛也是力不能及。这就引出了对搜索引擎蜘蛛的一个考核，蜘蛛每天也是苦逼的干活的也是需要考核评价的其中有3个最主要的考核规范:抓取网页覆盖率、抓取网页时效性及抓取网页的重要性。
抓取网页覆盖率
对于现在搜索引擎来说，还没有哪个搜索引擎能抓取互联网上呈现的所有网页，所有搜索引擎只能索引互联网的一部分而已，这里就有一个概念—暗网”暗网是指目前搜索引擎蜘蛛依照惯例方式很难抓取到互联网页面，蜘蛛是依赖页面中的链接发现新的页面，进而抓取索引，但是很多页面内容是以数据库方式存储的这样蜘蛛很难或无法抓取这些信息，结果就是用户也无法在搜索引擎搜索得到这些信息。
抓取网页覆盖率指的蜘蛛抓取的网页数量占互联网所有网页数量的比例，很明显，这个覆盖率越高，搜索引擎所能索引排名的数量级也就越大，能够参与比拟展现的搜索结果也就越多，用户搜索体验也越好。所以为了让用户在搜索时可以得到更精准、更全面的结果，提供抓取网页覆盖率至关重要，而除了抓取方式的提高，对暗网数据的抓取已成为各大搜索引擎的重要研究方向。
由此可见，抓取网页覆盖率是考核搜索引擎蜘蛛的一个关键标准，这是一个很大的基数，关乎到后面的索引量、排序量和展现量等，对于用户搜索体验至关重要。
抓取网页时效性
说到用户的搜索体验，网页的时效性相对覆盖率句更加直观了比方你搜索结果搜索到一个结果，当你点击后页面是不存在作何感想?搜索引擎是努力防止这些的所以蜘蛛抓取网页时效性同样是一个重要考核点。互联网信息比拟多，蜘蛛抓取一轮需要较长的时间周期，这个时间内之前建立索引的很多网页可能已经发生变化或者被删除，这就导致搜索结果中有一部分是过期的数据。
用一句话就是蜘蛛不能在网页变化后第一时间将这些变化反映到网页库中，这样问题就来了首先比方页面只是内容发生变化，搜索引擎不能及时的去重新比拟这些变化，给予用户更合理的排名。其次，如果排在搜索结果前面的页面已经被删除了由于没有及时抓取更新，还排在重要位置，那么无疑对用户是一种伤害。最后，很多人会在页面收录后另外加一些不好的信息，这样用之前的排名展现现在信息，下次蜘蛛更新才会处理。
所以对于搜索引擎而言，肯定是希望数据库内网页能及时更新的网页库过期的数据越少，则网页的时效性越好，这对用户体验的作用显而易见。
抓取网页的重要性
蜘蛛抓取了很多内容，也及时更新了但如果抓取的都是一些低质量内容，那肯定是不行的尽管要多抓勤抓，但是每个网页重要性差异很大，这就是矛盾的地方，搜索引擎蜘蛛不只要干得多、干得快、还要干得好。所以必定会优先照顾局部能经常提供高质量内容的网站，特别是定时定量更新的这样才干最大水平上保证优质内容不被漏掉，这也可以说是没办法的方法。如果搜索引擎蜘蛛抓回的网页大都是比拟重要的网页，则可说其在抓取网页重要性方面做得很好。
总而言之，目前的搜索引擎蜘蛛由于种种原因限制，只能抓取互联网部分网页的所以在努力抓取尽可能多页面的同时会尽可能选择比拟重要的那局部页面来索引，而对于己经抓取到网页，也会尽可能快地更新其内容。注意所有的这些都是尽可能而已，所以这是各大搜索引擎努力的方向。如果这3个方面都做得好，搜索引擎用户体验肯定会更好。
写在最后
搜索引擎对于以上3个标准一直在做努力，同时也号召站长一起进行，比方百度站长平台的数据提交就能很好的扩大百度蜘蛛抓取覆盖率，再比方百度鼓励站长对网页进行提交或直接提交sitemap这也为蜘蛛的抓取更新提供便当。搜索引擎蜘蛛工作比拟累，要干得多，还要干得快，更要干得好，一点都不容易。所以网站站长首先就应该让网站链接路径便于抓取，结构扁平，让蜘蛛在有限的时间能抓取更多的东西，让蜘蛛在网站能干得多而且干得快，同时有规律的更新高质量内容，让蜘蛛在这能干得好，这样久而久之，蜘蛛在网站就会干得更多、干得更快、干得更好，因为它需要。如果网站结构混乱，总是更新垃圾内容或不更新，那蜘蛛也只能走走停停了因为它也要干活。
更新时间：2014-07-02
