1. 蜘蛛1 y( ^4 P8 D: @, o
) F3 i. F& |) q, |& [0 E& N5 ~- ` 搜索引擎用来爬行和访问而面的程序被称为蜘蛛，也称为机器人
% p% ^: s+ z8 ^
. y* k. j; F" @, m 搜索引擎蜘蛛访问网站页面时类似于普通用户使用的浏览器，蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库，搜索引擎为了提高爬行和抓取速度，都使用多个蜘蛛并发布爬行。
4 @1 x; \* `9 m4 ~3 n6 T4 [
* v: F! V, R# \" K8 [: ?5 c6 u5 q 蜘蛛访问任何一个网站时，都会先访问网站根目录下的robots.txt文件，如果robots.txt文件禁止搜索引擎抓取某些文件或目录，蜘蛛将遵守协议，不抓取被禁止访问的网址。
Q4 A5 X, C% ^! F. B$ ?. D2 u8 z+ @2 m! ^
和浏览器一样，搜索引擎蜘蛛也有标明自已身分的代理名称，站长可以在日志文件中看到搜索引擎的特定代理名称，从而辩别搜索引擎蜘蛛。. G- T; d( Y8 |' Q, k
; C- U8 d! J# q3 _5 } 2. 跟踪链接- D c. ? h' D& N$ @: u* ?. s) f1 K
/ T3 [3 c7 \* b+ Z- p" o# j2 j 为了抓取网上尽量多的页面，搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬到下一个页面，就好像蜘蛛在蜘蛛网上爬行那样，这也就是搜索引擎蜘蛛这个名称的由来. w1 n- u, C( L. h' Y& V% v! _, Q4 T9 V
2 b$ H/ s1 K b6 O7 ~0 I) G% y+ `
整个互联网是由相互链接的网站及页面组成的。从理论上来说 ，蜘蛛从任何一个页面出发，顺着链接都可以爬行到网上的所有页面，当然，由于网站及页面链接结构异常复杂，蜘蛛需要采取一定的爬行策略才能遍历网上所有的页面。, `# |5 b8 h% y) C1 E1 y* c
. _2 d, ~% l( Q7 k3 A9 k
最简单的爬行遍历策略分为两种，一种是深度优先，另一种是广度优先。
C V5 ^ t3 t
2 a4 t+ v8 x5 n# `+ \ 所谓深度优先，指的是蜘蛛沿着发现的链接一直向前爬行，直到前面再也没有其他链接，然后返回到第一页面，沿着另一个链接一直往前爬行。
& K) }# h& ~' w$ L( G本文由http://www.ronghuihuagong.com/整理发布，欢迎欣赏！
) X( V& w+ G0 i x% t7 {2 Y3 _$ g x8 j% T
|
