如何从搜索引擎用户体验的角度考虑，对爬虫的工作效果有不同的评价标准，其中最主要的3个标准是：抓取网页覆盖率、抓取网页时新性及抓取网页重要性。' R- t+ T4 M0 S: B6 {& K o; F8 T
1 K5 n, E- o# b
对于爬虫抓到本地的网页来说，很多网页可能已经发生变化，或者被删除，或者内容被更改，因为爬虫完整抓取一轮需要较长的时间周期，所以抓取到的网页中必有一部分是过期的数据，即不能在网页变化后第一时间反映到网页库中，所以网页库中过期的数据越少，则网页时新性越好，这对用户体验的作用不言而喻。如果时新性不好，用户搜到的是过时数据，甚至可能网页都已经不复存在，使用产品时其心情可想而知。/ j1 U7 d; ~" g% O& E
N- L t, A) y* Y5 r 互联网尽管网页众多，但是每个网页重要性差异很大，比如来自雅虎新闻的网页和某个作弊网页相比，其重要性差异判若云泥。如果搜索引擎爬虫抓回的网页大都是比较重要的网页，即可说其在抓取网页重要性方面做得很好。这方面做得好，等价于搜索引擎的精度高。/ Z* p9 t" E- r; i* F
9 X' I' c) u& x5 s 北京seo公司 www.dingjiseo.com9 V$ n* O s, Q/ m$ U
