什么是蜘蛛

小天使 · 发表于 2013-03-27 16:18:47

蜘蛛也称为“wanderers”（漫步者）或才“robots”(机器人），它首先是一组运行在计算机中的程序，在搜索引擎中负责抓取时新的且公共可访问的web网页，图片和文档等资源。这种抓取的过程为通过下载一个网页，分析其中的链接，继而漫游到其他链接指向的网页，循环往复。
主要有以下特点：
1、网页抓取原理
2、从种子站点开始逐层抓取
3、不重复抓取策略
4、网页抓取优先策略
5、网页重访策略
6、重要性网页优先抓取策略
7、抓取提速策略（合作抓取策略）
北京金桥疝气医院 www.bjsq91.com

zhanzhuan · 发表于 2014-07-23 17:46:54

网页抓取原理
从种子站点开始逐层抓取
不重复抓取策略
网页抓取优先策略
网页重访策略
重要性网页优先抓取策略

清风徐来 · 发表于 2015-12-22 11:36:42

支持一下楼主学习了

爱笑的丫头 · 发表于 2016-02-28 17:02:46

SEO是长期的，SEO学习更是如此。这边有一个SEO新手学习群：137303464 验证：1 欢迎加入组织

qwe1254qwe · 发表于 2016-04-21 11:18:53

长风破浪会有时，直挂云帆济沧海

ptjcjjw · 发表于 2016-05-27 15:56:44

莆田嘉成商城打造集各品牌建材五金，瓷砖卫浴，涂料壁纸，灯饰照明，家电影音的网站购物平台，同时为用户提供装修指导，产品百科，行业资讯等服务，为用户搭建行业交流圈子，让用户放心购物，愉快交流。

哎呦 · 发表于 2016-06-06 13:45:30

SEO新手学习群：460490788 每天提供SEO技术分享课程，每天下午四点半群解答，有任何问题都可以在群内提问。每天仅限五个名额

创新达 · 发表于 2026-05-22 01:35:46

说得很实在，没有夸大其词，这种真实分享太难得了

兰闺蜜 · 发表于 2026-07-01 08:11:16

楼主辛苦了，整理这么多内容，必须点赞收藏

scada · 发表于 2026-07-02 16:47:06

内容很干货，没有多余的废话，值得反复看

17885188 · 发表于 2026-07-04 03:13:09

完全赞同，我也是这么认为的，英雄所见略同～

tanquansheng · 发表于 2026-07-09 19:17:37

刚好遇到类似问题，看完这个帖子心里有底了

汇客老曾 · 发表于 2026-07-11 15:49:44

分析得很透彻，很多细节都说到点子上了～

快乐青年 · 发表于 2026-07-14 09:13:11

这个思路很新颖，打开了新世界的大门，谢谢分享

西万路小混混 · 发表于 2026-07-17 14:50:55

这个分享太实用了，刚好能用到，感谢楼主！

M874746320 · 发表于 2026-07-23 15:52:03

蹲了这么久，终于看到有价值的讨论，支持一下！

yadeaweb · 发表于 2026-07-31 23:08:55

学习到了，之前一直没注意过这个点，受教了

		自动登录	找回密码
密码			加入怎通