爬虫质量的评价标准
如何从搜索引擎用户体验的角度考虑，对爬虫的工作效果有不同的评价标准，其中最主要的3个标准是：抓取网页覆盖率、抓取网页时新性及抓取网页重要性。对于爬虫抓到本地的网页来说，很多网页可能已经发生变化，或者被删除，或者内容被更改，因为爬虫完整抓取一轮需要较长的时间周期，所以抓取到的网页中必有一部分是过期的数据，即不能在网页变化后第一时间反映到网页库中，所以网页库中过期的数据越少，则网页时新性越好，这对用户体验的作用不言而喻。如果时新性不好，用户搜到的是过时数据，甚至可能网页都已经不复存在，使用产品时其心情可想而知。
互联网尽管网页众多，但是每个网页重要性差异很大，比如来自雅虎新闻的网页和某个作弊网页相比，其重要性差异判若云泥。如果搜索引擎爬虫抓回的网页大都是比较重要的网页，即可说其在抓取网页重要性方面做得很好。这方面做得好，等价于搜索引擎的精度高。
北京seo公司 www.dingjiseo.com
学习到了，之前一直没注意过这个点，受教了 刚好遇到类似问题，看完这个帖子心里有底了 说得很实在，没有夸大其词，这种真实分享太难得了 楼主辛苦了，整理这么多内容，必须点赞收藏 完全赞同，我也是这么认为的，英雄所见略同～
页:
[1]