. a, v A( l v4 l: F' f 这篇文章主要讲解搜索引擎的蜘蛛爬虫的工作原理，包括它的四种抓取策略。
$ H! B7 Z) e# L+ t. E8 s1 Z9 r. @( n; F* L! e7 V9 K
首先呢，搜索引擎的蜘蛛抓取网页是有着一定的规律，不会去随便抓取网页，并且呢，蜘蛛是通过超连接来抓取网页的，我们刚刚说了，搜索引擎有四种抓取网页的策略，www.88msc.com下边我们一一讲解。0 \* L' |! M; Y( G3 _) U
0 b9 x) C6 F; Z+ X+ o% g深度优先
4 s" ?% J; I" E n0 B1 J9 @7 E+ P* W s! Q" s/ B1 N
所谓深度优先，就是蜘蛛在一个页面中发现第一个超链接，然后爬取这个页面，当爬到第二个页面后，在第二个页面发现的第一个超链接，然后再顺着往下爬，如下图：- d! l+ [/ [1 u2 Q3 R6 N1 W! b- V1 C
- R3 H, A: j2 p
, D& W. u3 K% i/ |
: N, j5 k u, [" j! u7 ]深度优先，导致蜘蛛抓取的网页的质量，越来越低，并且在传递网站权重上，也有着根本的问题。
0 b! T, _3 p j" H- E/ ~# z6 l& D2 D8 `# \
宽度优先
2 {. _& q% ]& i7 d4 K' C/ k! d
. u9 V7 _. J/ P6 X1 B. W- |在深度优先上，搜索引擎有着根本的问题，那么在之后，搜索引擎又推出了蜘蛛抓取的第二个策略，也就是宽度优先，宽度优先指的是，蜘蛛会先把这个页面所有的链接都爬一次，然后在顺着这些链接往下爬，如下图：$ l' ^: a8 r& W1 \( l- I2 D( [
c4 x' p8 [. n2 ~# `
' x# X+ r; T8 G1 [3 F* v. f% Z
2 l1 [& }% ?! t; N2 g) p7 l
但是宽度优先也存在着问题，那就是蜘蛛抓取的效率和质量问题。0 v) S' E3 w* Q
5 b6 Z$ h$ A" V: X- r
先宽后深 – 权重优先
! I" s' [$ Q& X
' B( v/ l3 `0 u- _( [现在搜索引擎是宽度和深度优先的结合，蜘蛛在抓取一个网页的时候，会先把这个页面所有的链接都抓取一次，然后再根据这些ULR的权重来判定，那个URL的权重高，那么就采用深度优先，那个URL权重低，就采用宽度优先或者不抓取。# `& W) ?! s' q
# g, a7 B& Y d/ ^ o% z
重访抓取策略
- ?3 l( R! {' {. H7 H' @; @* e! `7 K# e& s/ @
重访抓取策略，是最后的一个，搜索引擎蜘蛛在抓取完这个网页之后，然后根据这个页面的权重、包括它的更新频率、更新质量、外链的数量等等来判定，那么对于权重高的页面，蜘蛛会在相隔较短的时间段在回来重新抓取，比如新浪网，权重很高，搜索引擎蜘蛛都是按照秒来重新抓取的。而对于一些权重较低的页面，比如长期不更新的页面，那么蜘蛛会隔好长时间在来抓取一次，比如我们常常搜索的百度大更新，蜘蛛就是对于一些网页权重较低的页面进行一次全部的抓取，一般情况，百度大更新，一个月一次。
X$ m g, h- c
1 _4 a! ~. |& ?! _: ~" e1 t |
