何为搜索引擎机器人？

    搜索引擎机器人也称网络蜘蛛（Web Spider），这是一个很形象的名字。把互联网比喻
成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛通过网页的链接地址来
; m+ N+ a' A+ ?( k" A  ~. R寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它
链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所
# P9 d- W+ ^& o) g2 i( k8 {1 o有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理
# `2 {3 z& J$ x) U8 U把互联网上所有的网页都抓取下来。
    在抓取网页的时候，网络蜘蛛一般有两种策略：广度优先和深度优先
3 O) E/ q; j3 D( D4 e    广度优先  是指网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个
5 d9 }* q) P1 @6 d9 U# i- a. F: ?链接网页，继续抓取在此网页中链接的所有网页。这是最常用的方式，因为这个方法可以让
8 N) d6 R/ f* l6 @网络蜘蛛并行处理，提高其抓取速度。
3 Q! d+ d& [3 U1 I/ L& {: Z    深度优先  是指网络蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条线
路之后再转入下一个起始页，继续跟踪链接。这个方法有个优点是网络蜘蛛在设计的时候比
较容易。
& L2 {$ N; s! \6 Z( |* T    由于不可能抓取所有的网页，有些网络蜘蛛对一些不太重要的网站，设置了访问的层数。
例如上图A为起始网页，属于0层，B、C、D、E、F属于第1 层，G、H属于第2层，I
属于第3层。如果网络蜘蛛设置的访问层数为2的话，网页I是不会被访问到的。这也让有
9 M+ A$ E) J* r5 M些网站上一部分网页能够在搜索引擎上搜索到，另外一部分不能被搜索到。对于网站设计者
( l9 r# t1 \! p0 Z7 S来说，扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。
2 E- u2 g. l5 o4 A! T网络蜘蛛在访问网站网页的时候，经常会遇到加密数据和网页权限的问题，有些网页是
- F5 L1 ~4 b( F. H: _5 D需要会员权限才能访问。
     当然，网站的所有者可以通过协议让网络蜘蛛不去抓取，但对于一
6 O1 O1 [- n' D5 _5 Z; L些出售报告的网站，他们希望搜索引擎能搜索到他们的报告，但又不能完全免费的让搜索者
查看，这样就需要给网络蜘蛛提供相应的用户名和密码。网络蜘蛛可以通过所给的权限对这
些网页进行网页抓取，从而提供搜索。而当搜索者点击查看该网页的时候，同样需要搜索者
$ B* M' M6 c  ], m提供相应的权限验证。
% C3 d  E6 l0 G* R# J! x- e曾几何时我告诉自己：旋木你是来自天津seo世界的小可爱，可惜了，旋木感冒了，我要好好学习天津seo，做一名天津seo的三好生我爱天津卫：http://www.xuanmuseo.com/
. G4 t# q3 k6 |+ h6 }) v$ l
; }, _: i" _( `/ s

{:soso_e100:}好久没有看到有人讲这个了 重温一下。

蹲了这么久，终于看到有价值的讨论，支持一下！

这个分享太实用了，刚好能用到，感谢楼主！

刚好遇到类似问题，看完这个帖子心里有底了

说得很实在，没有夸大其词，这种真实分享太难得了

内容很干货，没有多余的废话，值得反复看

楼主太厉害了，整理得这么详细，必须支持

这个思路很新颖，打开了新世界的大门，谢谢分享

分析得很透彻，很多细节都说到点子上了～

学习到了，之前一直没注意过这个点，受教了