1. 蜘蛛
+ W7 H, e& B( j6 q# R0 I* _, D1 |
6 f% @* m7 M9 B 搜索引擎用来爬行和访问而面的程序被称为蜘蛛，也称为机器人
9 r) N0 {' h8 K, a O5 x9 ^; K5 U+ z4 @
搜索引擎蜘蛛访问网站页面时类似于普通用户使用的浏览器，蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库，搜索引擎为了提高爬行和抓取速度，都使用多个蜘蛛并发布爬行。
X7 c1 F3 k2 N
% l8 a% d& w5 z4 A7 w 蜘蛛访问任何一个网站时，都会先访问网站根目录下的robots.txt文件，如果robots.txt文件禁止搜索引擎抓取某些文件或目录，蜘蛛将遵守协议，不抓取被禁止访问的网址。5 C( o* l9 W% }9 Y; ?' s
0 I, C3 f/ [* B/ l3 z' r2 Y
和浏览器一样，搜索引擎蜘蛛也有标明自已身分的代理名称，站长可以在日志文件中看到搜索引擎的特定代理名称，从而辩别搜索引擎蜘蛛。$ }) k+ d" Q" \- L' u
2 ~8 P+ ], p" Z; l" C/ i! w+ N, M 2. 跟踪链接
: e/ h& c/ ~ w- C) E7 j6 F$ }% m' t( Z# v4 z' E; q
为了抓取网上尽量多的页面，搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬到下一个页面，就好像蜘蛛在蜘蛛网上爬行那样，这也就是搜索引擎蜘蛛这个名称的由来
4 A: J+ Q* s9 L( C) L9 T" c+ d# T9 A& ?" k
整个互联网是由相互链接的网站及页面组成的。从理论上来说 ，蜘蛛从任何一个页面出发，顺着链接都可以爬行到网上的所有页面，当然，由于网站及页面链接结构异常复杂，蜘蛛需要采取一定的爬行策略才能遍历网上所有的页面。6 m- e4 y. \- i! I3 L
: W! s4 D/ t `: Z) w* e/ k. ~+ z1 t 最简单的爬行遍历策略分为两种，一种是深度优先，另一种是广度优先。4 v* d& c- l: t. t' {5 k
, Q+ F3 W# ?, V5 w* u7 H: k9 Y) J" {' y; H 所谓深度优先，指的是蜘蛛沿着发现的链接一直向前爬行，直到前面再也没有其他链接，然后返回到第一页面，沿着另一个链接一直往前爬行。
2 f ]" g& A, E/ S本文由http://www.ronghuihuagong.com/整理发布，欢迎欣赏！
( Z4 Q4 u$ X+ E5 u t8 N, H& D4 l T/ r% S# \0 z9 j0 A& F3 I
|
