http://bbs.594zz.com/
1. 蜘蛛搜索引擎用来爬行和访问而面的程序被称为蜘蛛，也称为机器人
搜索引擎蜘蛛访问网站页面时类似于普通用户使用的浏览器，蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库，搜索引擎为了提高爬行和抓取速度，都使用多个蜘蛛并发布爬行。
蜘蛛访问任何一个网站时，都会先访问网站根目录下的robots.txt文件，如果robots.txt文件禁止搜索引擎抓取某些文件或目录，蜘蛛将遵守协议，不抓取被禁止访问的网址。
和浏览器一样，搜索引擎蜘蛛也有标明自已身分的代理名称，站长可以在日志文件中看到搜索引擎的特定代理名称，从而辩别搜索引擎蜘蛛。
2. 跟踪链接
为了抓取网上尽量多的页面，搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬到下一个页面，就好像蜘蛛在蜘蛛网上爬行那样，这也就是搜索引擎蜘蛛这个名称的由来
整个互联网是由相互链接的网站及页面组成的。从理论上来说 ，蜘蛛从任何一个页面出发，顺着链接都可以爬行到网上的所有页面，当然，由于网站及页面链接结构异常复杂，蜘蛛需要采取一定的爬行策略才能遍历网上所有的页面。
最简单的爬行遍历策略分为两种，一种是深度优先，另一种是广度优先。
所谓深度优先，指的是蜘蛛沿着发现的链接一直向前爬行，直到前面再也没有其他链接，然后返回到第一页面，沿着另一个链接一直往前爬行。
本文由http://www.ronghuihuagong.com/整理发布，欢迎欣赏！
分析得很透彻，很多细节都说到点子上了～ 这个思路很新颖，打开了新世界的大门，谢谢分享 蹲了这么久，终于看到有价值的讨论，支持一下！ 学习到了，之前一直没注意过这个点，受教了 说得很实在，没有夸大其词，这种真实分享太难得了 完全赞同，我也是这么认为的，英雄所见略同～ 刚好遇到类似问题，看完这个帖子心里有底了 内容很干货，没有多余的废话，值得反复看
页:
[1]