http://bbs.594zz.com/

zhanzhuan · 发表于 2014-10-18 16:13:08

　　1. 蜘蛛

　　搜索引擎用来爬行和访问而面的程序被称为蜘蛛，也称为机器人

　　搜索引擎蜘蛛访问网站页面时类似于普通用户使用的浏览器，蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库，搜索引擎为了提高爬行和抓取速度，都使用多个蜘蛛并发布爬行。

　　蜘蛛访问任何一个网站时，都会先访问网站根目录下的robots.txt文件，如果robots.txt文件禁止搜索引擎抓取某些文件或目录，蜘蛛将遵守协议，不抓取被禁止访问的网址。

　　和浏览器一样，搜索引擎蜘蛛也有标明自已身分的代理名称，站长可以在日志文件中看到搜索引擎的特定代理名称，从而辩别搜索引擎蜘蛛。

　　2. 跟踪链接

　　为了抓取网上尽量多的页面，搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬到下一个页面，就好像蜘蛛在蜘蛛网上爬行那样，这也就是搜索引擎蜘蛛这个名称的由来

　　整个互联网是由相互链接的网站及页面组成的。从理论上来说，蜘蛛从任何一个页面出发，顺着链接都可以爬行到网上的所有页面，当然，由于网站及页面链接结构异常复杂，蜘蛛需要采取一定的爬行策略才能遍历网上所有的页面。

　　最简单的爬行遍历策略分为两种，一种是深度优先，另一种是广度优先。

　　所谓深度优先，指的是蜘蛛沿着发现的链接一直向前爬行，直到前面再也没有其他链接，然后返回到第一页面，沿着另一个链接一直往前爬行。
本文由http://www.ronghuihuagong.com/整理发布，欢迎欣赏！

王笑1991 · 发表于 2026-06-01 14:24:08

分析得很透彻，很多细节都说到点子上了～

朱岩 · 发表于 2026-08-02 23:02:43

这个思路很新颖，打开了新世界的大门，谢谢分享

小娅＂ · 发表于 2026-08-04 00:53:04

蹲了这么久，终于看到有价值的讨论，支持一下！

知足常乐 · 发表于 2026-08-04 23:40:44

学习到了，之前一直没注意过这个点，受教了

追风追雨追太阳 · 发表于 2026-08-05 11:48:07

说得很实在，没有夸大其词，这种真实分享太难得了

zztlyy2 · 发表于 2026-08-06 05:24:31

完全赞同，我也是这么认为的，英雄所见略同～

2865084310 · 发表于 2026-10-21 14:30:41

刚好遇到类似问题，看完这个帖子心里有底了

za131717945 · 发表于 2026-10-23 17:52:00

内容很干货，没有多余的废话，值得反复看

		自动登录	找回密码
密码			加入怎通

[站长八卦] http://bbs.594zz.com/