如何从搜索引擎用户体验的角度考虑，对爬虫的工作效果有不同的评价标准，其中最主要的3个标准是：抓取网页覆盖率、抓取网页时新性及抓取网页重要性。. l0 a Y' Q, q9 v1 S# ?
2 {0 W7 K, O. h, H/ V/ S: E 对于爬虫抓到本地的网页来说，很多网页可能已经发生变化，或者被删除，或者内容被更改，因为爬虫完整抓取一轮需要较长的时间周期，所以抓取到的网页中必有一部分是过期的数据，即不能在网页变化后第一时间反映到网页库中，所以网页库中过期的数据越少，则网页时新性越好，这对用户体验的作用不言而喻。如果时新性不好，用户搜到的是过时数据，甚至可能网页都已经不复存在，使用产品时其心情可想而知。, v$ H `- m7 d" M$ s J
( G2 Y, _; B$ E: M/ E. ` 互联网尽管网页众多，但是每个网页重要性差异很大，比如来自雅虎新闻的网页和某个作弊网页相比，其重要性差异判若云泥。如果搜索引擎爬虫抓回的网页大都是比较重要的网页，即可说其在抓取网页重要性方面做得很好。这方面做得好，等价于搜索引擎的精度高。 : Z3 F% h" s. J! u/ x8 W9 D* \" h: V+ }! e
北京seo公司 www.dingjiseo.com# `4 n- m3 j9 N9 b- J
