1. 蜘蛛& P# o7 [9 U: b
1 u2 m$ u H/ ?7 [) }; ?6 F# k
搜索引擎用来爬行和访问而面的程序被称为蜘蛛，也称为机器人
- R6 A2 ~2 ]' e; O! o! l
9 p: `' s* l0 w T. d* C* y N 搜索引擎蜘蛛访问网站页面时类似于普通用户使用的浏览器，蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库，搜索引擎为了提高爬行和抓取速度，都使用多个蜘蛛并发布爬行。. v5 h0 A, V4 @, L
3 o. F4 m% N. p. [6 ]5 r( @2 O) g9 J
蜘蛛访问任何一个网站时，都会先访问网站根目录下的robots.txt文件，如果robots.txt文件禁止搜索引擎抓取某些文件或目录，蜘蛛将遵守协议，不抓取被禁止访问的网址。
+ t) `3 j4 o: ]# f; t; @, a
: ^1 p; O# ^% ?* z |( M p 和浏览器一样，搜索引擎蜘蛛也有标明自已身分的代理名称，站长可以在日志文件中看到搜索引擎的特定代理名称，从而辩别搜索引擎蜘蛛。: }: {8 \# q, u. _
( |0 \8 M. V5 Y0 s Q& z
2. 跟踪链接/ z6 G5 x. ~8 _: C
, D* V; |) f: J( Q' e
为了抓取网上尽量多的页面，搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬到下一个页面，就好像蜘蛛在蜘蛛网上爬行那样，这也就是搜索引擎蜘蛛这个名称的由来; F: e6 H2 i* x. ~7 ~2 X4 B: Q
4 V9 U6 g$ H& ~# |! V) I* I* t. N2 ?
整个互联网是由相互链接的网站及页面组成的。从理论上来说 ，蜘蛛从任何一个页面出发，顺着链接都可以爬行到网上的所有页面，当然，由于网站及页面链接结构异常复杂，蜘蛛需要采取一定的爬行策略才能遍历网上所有的页面。
$ c8 a+ E4 b3 E, t# c! W# L7 G2 l9 q
最简单的爬行遍历策略分为两种，一种是深度优先，另一种是广度优先。" G) c$ U- R( c6 u/ B
$ b% f s. P8 ?
所谓深度优先，指的是蜘蛛沿着发现的链接一直向前爬行，直到前面再也没有其他链接，然后返回到第一页面，沿着另一个链接一直往前爬行。& G6 P0 ?2 ]! n5 A
本文由http://www.ronghuihuagong.com/整理发布，欢迎欣赏！
, O ~9 R& M- p8 q3 u7 H0 h3 [
* {. n4 @* ?# C+ X9 N2 a |
