搜索引擎机器人也称网络蜘蛛（Web Spider），这是一个很形象的名字。把互联网比喻
; |) e' n( [8 y9 k0 t成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛通过网页的链接地址来
# Y8 ^( A- j) Z$ t# ~0 O" }4 [寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它
- u0 r- E( [: N- `1 O链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所4 F0 i+ V2 e- A1 ]
有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理$ Y1 S+ ?2 Q" t) `9 {& _ ]+ ~
把互联网上所有的网页都抓取下来。 ! f2 m+ Y6 W, |0 ?
在抓取网页的时候，网络蜘蛛一般有两种策略：广度优先和深度优先& }1 w% a2 T5 W5 `4 C: J6 l8 {7 j
广度优先 是指网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个
0 ]8 ~8 _! Y7 v2 A4 d" w链接网页，继续抓取在此网页中链接的所有网页。这是最常用的方式，因为这个方法可以让
! V7 g E X7 h) @+ N网络蜘蛛并行处理，提高其抓取速度。 / H5 K2 R% {6 L7 ]6 O
深度优先 是指网络蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条线
, g6 c! u4 N4 o) C路之后再转入下一个起始页，继续跟踪链接。这个方法有个优点是网络蜘蛛在设计的时候比
9 ~0 J. {/ _8 T5 {较容易。 ! L7 l( F6 Y2 p& s" @/ `# ?
由于不可能抓取所有的网页，有些网络蜘蛛对一些不太重要的网站，设置了访问的层数。
) t. s) _7 v. h0 c: h6 a例如上图A为起始网页，属于0层，B、C、D、E、F属于第1 层，G、H属于第2层，I
' G% K* G0 R$ r9 J! A. {0 A I( g属于第3层。如果网络蜘蛛设置的访问层数为2的话，网页I是不会被访问到的。这也让有
0 I" t) m- s7 r+ s& Y1 g1 g) T8 U些网站上一部分网页能够在搜索引擎上搜索到，另外一部分不能被搜索到。对于网站设计者
6 O9 V) M4 k: g3 \7 C( f0 C: m, Z0 [来说，扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。
2 _, u/ }7 I0 c. z6 S* N4 L. K网络蜘蛛在访问网站网页的时候，经常会遇到加密数据和网页权限的问题，有些网页是7 L/ M* t& q! r; Y* b' A' F4 A
需要会员权限才能访问。) E& ^' n2 K$ m9 O+ d
当然，网站的所有者可以通过协议让网络蜘蛛不去抓取，但对于一
6 Y j+ O8 S" U8 G6 ^" i些出售报告的网站，他们希望搜索引擎能搜索到他们的报告，但又不能完全免费的让搜索者
* t! S$ ^4 p/ U) f! z, A查看，这样就需要给网络蜘蛛提供相应的用户名和密码。网络蜘蛛可以通过所给的权限对这
5 \4 `2 J+ n, ]" Y9 o( K( r些网页进行网页抓取，从而提供搜索。而当搜索者点击查看该网页的时候，同样需要搜索者' K& C. F: j6 X, M( j& A- j. b9 e) p
提供相应的权限验证。 Q+ A# O) ?, G
曾几何时我告诉自己：旋木你是来自天津seo世界的小可爱，可惜了，旋木感冒了，我要好好学习天津seo，做一名天津seo的三好生我爱天津卫：http://www.xuanmuseo.com/
8 _0 J! X( |' F. k7 O
8 O5 a, S9 q0 N2 @& ?3 p( a. E, A# p |
