爬虫质量的评价标准

我是三毛啊 · 发表于 2013-03-08 14:25:42

　　如何从搜索引擎用户体验的角度考虑，对爬虫的工作效果有不同的评价标准，其中最主要的3个标准是：抓取网页覆盖率、抓取网页时新性及抓取网页重要性。

　　对于爬虫抓到本地的网页来说，很多网页可能已经发生变化，或者被删除，或者内容被更改，因为爬虫完整抓取一轮需要较长的时间周期，所以抓取到的网页中必有一部分是过期的数据，即不能在网页变化后第一时间反映到网页库中，所以网页库中过期的数据越少，则网页时新性越好，这对用户体验的作用不言而喻。如果时新性不好，用户搜到的是过时数据，甚至可能网页都已经不复存在，使用产品时其心情可想而知。

　　互联网尽管网页众多，但是每个网页重要性差异很大，比如来自雅虎新闻的网页和某个作弊网页相比，其重要性差异判若云泥。如果搜索引擎爬虫抓回的网页大都是比较重要的网页，即可说其在抓取网页重要性方面做得很好。这方面做得好，等价于搜索引擎的精度高。

　　北京seo公司 www.dingjiseo.com

追风追雨追太阳 · 发表于 2025-11-09 15:16:21

学习到了，之前一直没注意过这个点，受教了

炫舞の人生 · 发表于 2025-11-10 20:04:07

刚好遇到类似问题，看完这个帖子心里有底了

小仙女 · 发表于 2026-05-29 10:04:19

说得很实在，没有夸大其词，这种真实分享太难得了

		自动登录	找回密码
密码			加入怎通

[站长八卦] 爬虫质量的评价标准

浏览过的版块