找回密码
 加入怎通
查看: 719|回复: 10

[站长八卦] 影响蜘蛛爬行的因素

[复制链接]
新工作 发表于 2012-11-01 19:12:43 | 显示全部楼层 |阅读模式
1、网站的整体结构。
9 p, @8 ?; n0 U0 s% S& d$ {' F7 g包括:title中是否嵌入关键词、网站标题、meta中的关键字、描述标签、导航栏等。参考文章:如何构建良好的网站结构
3 \: T, K1 e: B
/ e2 f7 z3 m" U0 K5 }9 Q2、 建设网站地图。
  A9 U1 t. x9 Q1 y" @  K$ b* T网站地图就好比是一个指向标,唯有清晰明了的指向标才能指引蜘蛛的去向。方便快捷的道路也会勾引来更多的蜘蛛。
! T: g0 P- ?! A# ]' u
' m, D: q. U2 b+ l$ w1 H' S: `) M6 H3、网站的原创内容。
1 k; f1 a# N7 V6 r% `8 ?+ z原创的内容对于百度蜘蛛的吸引力是非常巨大的,原创的内容就好象是主食,蜘蛛是每天都需要的。参考文章:如何写出高质量的原创文章
2 z6 T8 X+ p9 L$ w- C: n$ ~" S, d+ j
4、网站的外部链接。
+ v3 v# f3 G+ p4 k2 r8 V5 ?0 z要被蜘蛛抓取,就必须有导入链接进入页面,否则蜘蛛根本没有机会知道页面的存在。参考文章:高质量外部链接的标准是什么?2 n  S$ o- B6 j' F3 R8 e5 K- I: t4 `

6 X) Z+ k3 i, A2 F( R# m3 S5、内部链接优化。% k7 a# b3 Z- o
蜘蛛来到你的网站之后,自然会通过你的网站结构,遍历你的网站,几乎能够跑遍你网站上的所有链接,这些链接一旦出现死链接,就很容易造成蜘蛛爬不出来,次数多了,百度自然会对你网站没有好印象。% Z# j* T1 R* G& V9 l) h0 `$ o

% Z/ p- F  X$ D6、网站的更新频率。+ f' n: _! A, M6 }+ D
蜘蛛每次爬行都会把页面数据存储起来。如果 第二次爬行发现页面与第一次收录的完全一样,说明页面没有更新,蜘蛛也就没有必要经常抓取了。页面内容经常更新,蜘蛛就会更加频繁的访问页面,页面上出现的新链接,自然会被蜘蛛更快地跟踪、抓取。参考文章:为什么说网站内容更新非常重要?
! l% |2 _/ i+ f" H8 Z* q3 ]" s
" [# t4 M1 x# Z7 Z3 u* x+ G! Y7、监测蜘蛛的爬行。
# Q- Q3 ^) b& k8 [5 b可以利用网站日志知道蜘蛛正在抓取哪些页面,还可以利用站长工具对蜘蛛的爬行速度进行查看,合理分配资源,以达到更高的抓取速度和勾引更多的蜘蛛。
" V- s1 M5 @1 h  u* G: o

暂时无法加载帖子列表

回复

使用道具 举报

夕阳 发表于 2012-11-01 21:26:48 | 显示全部楼层
讲的不错 学习了         
回复

使用道具 举报

熬夜赚钱 发表于 2012-11-01 21:52:21 | 显示全部楼层
内链很重要,是给蜘蛛引路!
回复

使用道具 举报

龙行天下 发表于 2012-11-01 21:55:49 | 显示全部楼层
不错的东西。学习了
回复

使用道具 举报

美泰-杨昆 发表于 2012-11-02 13:32:33 | 显示全部楼层
想知道有没有方法可以看到蜘蛛的路径。就是爬过的痕迹。
回复

使用道具 举报

ELVA 发表于 2012-11-02 13:41:28 | 显示全部楼层
写的非常不错!顶一个!
) Q8 b, [" [# U% ~! X
回复

使用道具 举报

西万路小混混 发表于 2026-08-08 08:41:15 | 显示全部楼层
内容很干货,没有多余的废话,值得反复看
回复

使用道具 举报

西万路小混混 发表于 2026-08-08 19:14:39 | 显示全部楼层
楼主太厉害了,整理得这么详细,必须支持
回复

使用道具 举报

小小生意 发表于 2026-08-09 21:13:41 | 显示全部楼层
这个思路很新颖,打开了新世界的大门,谢谢分享
回复

使用道具 举报

gordonla 发表于 2026-08-11 07:57:14 | 显示全部楼层
蹲了这么久,终于看到有价值的讨论,支持一下!
回复

使用道具 举报

匿名用户2 发表于 2026-08-19 16:41:54 | 显示全部楼层
学习到了,之前一直没注意过这个点,受教了
回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-9-15 00:37 , Processed in 0.038743 second(s), 26 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表