百度蜘蛛日常的工作习性

驿动的鑫 · 发表于 2012-09-25 15:04:23

　　为了抓取网上尽量多的页面，搜索引擎蜘蛛会跟踪页面上的链接，从一个页面爬到下一个页面，就好像蜘蛛在蜘蛛网上爬行那样，这也就是搜索引擎蜘蛛这个名称的由来。
　　整个互联网是由相互链接的网站及页面组成的。从理论上说，蜘蛛从任何一个页面出发，顺着链接都可以爬行到网上的所有页面。当然，由于网站及页面链接结构异常复杂，蜘蛛需要采取一定的爬行策略才能遍历网上所有页面。
索引擎蜘蛛访问网站页面时类似于普通用户使用的浏览器。蜘蛛程序发出页面访问请求后，服务器返回HTML代码，蜘蛛程序把收到的代码存入原始页面数据库。搜索引擎为了提高爬行和抓取速度，都使用多个蜘蛛并发分布爬行。
　　蜘蛛访问任何一个网站时，都会先访问网站根目录下的robots.txt文件。如果robots.txt文件禁止搜素引擎抓取某些文件或目录。蜘蛛将遵守协议，不抓取被禁止的网址。
手持喷码机 http://www.hzlansha.com/提供文稿

heng好啊 · 发表于 2012-09-25 15:52:05

学习了！好帖子~
蜘蛛访问任何一个网站时，都会先访问网站根目录下的robots.txt文件。如果robots.txt文件禁止搜素引擎抓取某些文件或目录。蜘蛛将遵守协议，不抓取被禁止的网址。

本文摘自: 594站长论坛(https://bbs.w10.cn) 详细出处请参考：https://bbs.w10.cn/seo47080-p1d0.html

zhangwendy007 · 发表于 2012-09-25 16:16:51

{:soso_e179:}；楼主很强大哦，谢谢分享啦

zxc · 发表于 2026-08-24 18:44:32

楼主太厉害了，整理得这么详细，必须支持

ygl · 发表于 2026-08-26 07:01:05

完全赞同，我也是这么认为的，英雄所见略同～

西万路小混混 · 发表于 2026-08-26 19:43:50

楼主辛苦了，整理这么多内容，必须点赞收藏

晶威jingwei · 发表于 2026-08-28 02:30:12

这个思路很新颖，打开了新世界的大门，谢谢分享

花开.彼岸 · 发表于 2026-08-29 14:16:01

分析得很透彻，很多细节都说到点子上了～

wp987654wp · 发表于 2026-08-29 20:55:43

这个分享太实用了，刚好能用到，感谢楼主！

		自动登录	找回密码
密码			加入怎通

[站长八卦] 百度蜘蛛日常的工作习性