蜘蛛的抓取规律

如果蜘蛛胡乱的去抓取网页，那么就费死劲了，互联网上的网页，每天都增加那么那么那么多，蜘蛛怎么可以抓取的过来呢？所以说，蜘蛛抓取网页也是有规律的！
比如说深度优先，也就是搜索引擎蜘蛛在一个页面发现一个连接然后顺着这个连接爬下去，然后在下一个页面又发现一个连接，然后就又爬下去并且全部抓取，这就是深度优先抓取策略。我们假如网页A在搜索引擎中的权威度是最高的，假如D网页的权威是最低的，如果说搜索引擎蜘蛛按照深度优先的策略来抓取立式钻床网页，那么就会反过来了，就是D网页的权威度变为最高，这就是深度优先！
宽度优先比较好理解，就是搜索引擎蜘蛛先把整个页面的链接全部抓取一次，然后在抓取下一个页面的全部链接。这其实也就是大家平时所说的扁平化结构，大家或许在某个神秘的角落看到一篇文章，告诫大家，网页的层度不能太多，如果太多会导致收录很难，这就是来对付搜索引擎蜘蛛的宽度优先策略，其实就是这个原因。
如果说宽度优先比深度优先好，其实也不是绝对的，只能说是各有各的好处，现在搜索引擎蜘蛛一般都是两种抓取策略一起用，也就是深度优先+宽度优先，并且在使用这两种策略抓取的时候，要参照这条连接的权重，如果说这条连接的权重还不错，那么就采用深度优先，如果说这条连接的权重很低，那么就采用宽度优先！文章由立式钻床 http://www.xufengjxc.com/NewsView.aspx?id=135提供。

这个思路很新颖，打开了新世界的大门，谢谢分享

分析得很透彻，很多细节都说到点子上了～