爬虫质量的评价标准

　　如何从搜索引擎用户体验的角度考虑，对爬虫的工作效果有不同的评价标准，其中最主要的3个标准是：抓取网页覆盖率、抓取网页时新性及抓取网页重要性。
4 K2 u1 P" c# N1 Z; e% h3 q
　　对于爬虫抓到本地的网页来说，很多网页可能已经发生变化，或者被删除，或者内容被更改，因为爬虫完整抓取一轮需要较长的时间周期，所以抓取到的网页中必有一部分是过期的数据，即不能在网页变化后第一时间反映到网页库中，所以网页库中过期的数据越少，则网页时新性越好，这对用户体验的作用不言而喻。如果时新性不好，用户搜到的是过时数据，甚至可能网页都已经不复存在，使用产品时其心情可想而知。
/ v1 y( D, p2 u- A1 D
　　互联网尽管网页众多，但是每个网页重要性差异很大，比如来自雅虎新闻的网页和某个作弊网页相比，其重要性差异判若云泥。如果搜索引擎爬虫抓回的网页大都是比较重要的网页，即可说其在抓取网页重要性方面做得很好。这方面做得好，等价于搜索引擎的精度高。
) X, I" C( {" s# M5 M% T
- i& A# \  n5 w3 `1 G9 e' @' \　　北京seo公司   www.dingjiseo.com

学习到了，之前一直没注意过这个点，受教了

刚好遇到类似问题，看完这个帖子心里有底了