搜索引擎机器人也称网络蜘蛛（Web Spider），这是一个很形象的名字。把互联网比喻- T, f( s8 z- n" K% `: @2 y
成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛通过网页的链接地址来0 H: e; `5 Z! I. l. E- Y
寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它& N* U- E: J9 y* ?
链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所
u) F7 d- K# e* ^* {/ ]$ e有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理% _2 H$ t. e0 q8 F
把互联网上所有的网页都抓取下来。
" ~8 V2 U, S e/ K- J. L 在抓取网页的时候，网络蜘蛛一般有两种策略：广度优先和深度优先
- M- z v4 x: s6 r* S2 { 广度优先 是指网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个
" |; Y5 ] V5 e' t- R* {链接网页，继续抓取在此网页中链接的所有网页。这是最常用的方式，因为这个方法可以让) t; `1 Z! p5 p: c8 K6 E
网络蜘蛛并行处理，提高其抓取速度。 9 {/ t7 i4 P% B+ e2 j0 @; T
深度优先 是指网络蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条线
$ e; N5 _ ?6 H+ a: m路之后再转入下一个起始页，继续跟踪链接。这个方法有个优点是网络蜘蛛在设计的时候比1 o. r- D/ V' q' D/ b% t
较容易。 & _ ^5 ?; W5 A# P& @2 e% h$ D
由于不可能抓取所有的网页，有些网络蜘蛛对一些不太重要的网站，设置了访问的层数。
3 z& @3 ?& I& H6 {1 c# A例如上图A为起始网页，属于0层，B、C、D、E、F属于第1 层，G、H属于第2层，I
0 b5 g+ [9 r1 R F属于第3层。如果网络蜘蛛设置的访问层数为2的话，网页I是不会被访问到的。这也让有
( a% j0 o9 H* v& T些网站上一部分网页能够在搜索引擎上搜索到，另外一部分不能被搜索到。对于网站设计者
; o! @- T( ?, u' f6 F9 t来说，扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。 ) i% N, o& U3 ~' h7 z& V
网络蜘蛛在访问网站网页的时候，经常会遇到加密数据和网页权限的问题，有些网页是
, V# o/ f9 x1 d% D7 C. F% J7 S需要会员权限才能访问。
8 q6 N" z- w. T+ z8 K3 i 当然，网站的所有者可以通过协议让网络蜘蛛不去抓取，但对于一
- q7 p9 \# ^0 G6 {7 _/ n" U$ q1 g些出售报告的网站，他们希望搜索引擎能搜索到他们的报告，但又不能完全免费的让搜索者8 |! ^6 u! R' H9 S3 |# s$ Z: a
查看，这样就需要给网络蜘蛛提供相应的用户名和密码。网络蜘蛛可以通过所给的权限对这* _( B: |0 a, b1 ?- P
些网页进行网页抓取，从而提供搜索。而当搜索者点击查看该网页的时候，同样需要搜索者2 P7 m" I. |2 f3 k5 N
提供相应的权限验证。 8 z% m+ @, }; q6 r( } ~/ L, a
曾几何时我告诉自己：旋木你是来自天津seo世界的小可爱，可惜了，旋木感冒了，我要好好学习天津seo，做一名天津seo的三好生我爱天津卫：http://www.xuanmuseo.com/
0 Q3 B4 P. Z2 ^ \* p4 h- H/ L0 s* A n$ A5 [, Q( g/ A+ j
|
