抓取页面之宽度优先抓取策略

朱岩 · 发表于 2013-01-09 16:43:30

搜索引擎看似简单的抓取-入库-查询工作，但其中各个环节暗含的算法却十分复杂。搜索引擎抓取页面工作靠蜘蛛(Spider)来完成，抓取动作很容易实现，但是抓取哪些页面，优先抓取哪些页面却需要算法来决定，下面介绍宽度优先抓取策略。
　　我们都知道，大部分网站都是按照树状图来完成页面分布的，那么在一个树状图的链接结构中，哪些页面会被优先抓取呢?为什么要优先抓取这些页面呢?宽度优先抓取策略就是按照树状图结构，优先抓取同级链接，待同级链接抓取完成后，再抓取下一级链接。如下图：
　　大家可以发现，我在表述的时候，使用的是链接结构而不是网站结构。这里的链接结构可以由任何页面的链接构成，并不一定是网站内部链接。这是一种理想化的宽度优先抓取策略，在实际的抓取过程中，不可能想这样完全宽度优先，而是有限宽度优先。
　　
　　我们的Spider在取回G链接时，通过算法发现，G页面没有任何价值，所以悲剧的G链接以及下级H链接被Spider给和谐了。
【本文是由淮安仁爱:http://www.harayy.com为大家分享】

ssll2008 · 发表于 2026-03-03 11:24:57

学习到了，之前一直没注意过这个点，受教了

		自动登录	找回密码
密码			加入怎通

[站长八卦] 抓取页面之宽度优先抓取策略

浏览过的版块