找回密码
 加入怎通
查看: 602|回复: 8

[交流] “要做就做:搜索引擎蜘蛛肚子里的蛔虫”

[复制链接]
泥菩萨 发表于 2014-01-21 12:33:32 | 显示全部楼层 |阅读模式
我们大家都知道,索引擎爬虫 (又被称为网页蜘蛛,网络机器人,经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。为了更好的收录,所以存升吊配建议大家必须对蜘蛛熟悉一下。下面存升吊配就给大家说说蜘蛛:
1、扩展性强
爬虫的下载的速度越快其性能就越高,但是面对犹如大海一般的互联网,我们的又怎么能做到抓取完这些庞大的数据,这时候,在爬虫的数量上就必须要有所增加,这个就是搜索引擎的扩展性。目前大多数的主流搜索引擎爬虫都是分布式进行数据抓取数据的,所谓分布式,就是分成多台服务器进行抓取,每一台服务器上都有多个爬虫,并且每台服务器分线程运行,通过多种方式增加并发性 。
2、友好性
搜索引擎爬虫的抓取对象是各种类型的网站,那么对于网站的拥有者来说,网站页面内的一些隐私数据不想让搜索引擎抓取,这时候就要对网站设置协议,设置协议的原因就是为了告知爬虫可抓取的内容和不可抓取的内容,一般来说具有友好性的搜索引擎爬虫在到来网站后准备抓取数据时候首先就会先读取协议,
3、灵活健壮
搜索引擎爬虫在抓取数据的过程中,往往会遇到一些不常见的问题,也是搜索引擎爬虫的一些考验问题,例我们可以换一个角度去想想,如果爬虫在抓取数据的时候死掉了,或者爬虫所在的服务器死机了,强壮的爬虫应该要可以做到:当再次启动的时候,能恢复到爬虫死机之前所抓取的数据结构之内,而并不是每一次的停止都需要重新来过,这样的搜索引擎爬虫才算是健壮型的搜索引擎爬虫。
本文由场效应三极管 http://www.langxun-dz.com/products-list.asp?claid=139整理转载,以链接形式注明。

暂时无法加载帖子列表

回复

使用道具 举报

minmin890823 发表于 2026-02-26 15:55:43 | 显示全部楼层
这个分享太实用了,刚好能用到,感谢楼主!
回复

使用道具 举报

花样吊打你 发表于 2026-07-03 05:36:06 | 显示全部楼层
说得很实在,没有夸大其词,这种真实分享太难得了
回复

使用道具 举报

深山老林庞迎春 发表于 2026-07-13 04:08:06 | 显示全部楼层
楼主太厉害了,整理得这么详细,必须支持
回复

使用道具 举报

龙槐花 发表于 2026-07-16 22:18:42 | 显示全部楼层
刚好遇到类似问题,看完这个帖子心里有底了
回复

使用道具 举报

codyness 发表于 2026-07-27 20:53:58 | 显示全部楼层
蹲了这么久,终于看到有价值的讨论,支持一下!
回复

使用道具 举报

girl191277653 发表于 2026-07-31 11:16:43 | 显示全部楼层
分析得很透彻,很多细节都说到点子上了~
回复

使用道具 举报

leonseo444 发表于 2026-08-06 02:31:20 | 显示全部楼层
楼主辛苦了,整理这么多内容,必须点赞收藏
回复

使用道具 举报

fengmok 发表于 2026-09-03 16:02:21 | 显示全部楼层
内容很干货,没有多余的废话,值得反复看
回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-9-11 08:13 , Processed in 0.041127 second(s), 26 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表