找回密码
 加入怎通
查看: 1407|回复: 4

[SEM行业] 蜘蛛平时是如何爬行的,它的爬行规则是什么?

[复制链接]
So_starting_tod 发表于 2012-03-27 22:36:05 | 显示全部楼层 |阅读模式
       一、爆发式爬行
  A0 R3 b4 H2 i8 h* X  不知百度蜘蛛是不是喜欢高效率的爬行,有时百度蜘蛛能在一两分钟内爬行几百次。因为蜘蛛机器人,它爬行一段时间过后,蜘蛛机器人再去运算程序,看是否是原来收录过的,是否是原创什么的,是否应该收录等等。毕竟这样的爬行不会经常出现,只是偶有现身。
& d) t; p: F1 o+ q, a4 I1 B+ g  二、稳定式爬行" w. _& n' C$ h) S& h
  稳定式爬行,指的是每天24小时,每一个小时的爬行量相差不大。稳定式爬行往往是对新站才会出现,对于百度认为你站是成熟期的,如果出现了这种爬行方式,你可一定要小心了,这种爬行方式,你的站多半会被降权。第二天就能看出来,首页的快照日期,一定不会给你更新的。就好比一个人做任何事情时的,没有了激情,也就没有了爆发力,当然不会卖力干事的,不卖力干事,你说效果会有多好。
; Y6 u' F- A/ T7 k8 }  三、确认式爬行9 I* r8 a& a/ u0 X& y' @* w  ~
  什么是确认式爬行呢?就是指你网站更新一个内容过后,百度第一次爬行过后,一定不会给你放出收录来,百度蜘蛛还要进行第二次爬行再运算、比较计算的,如果认为你这个更新内容有必要收录,百度蜘蛛会进行第三次爬行,正常情况下百度蜘蛛不会进行第四次爬行。第三次确认过后,百度蜘蛛就会慢慢的给你放出收录。
! u+ a* P- l7 F  这种确认式爬行方式,就有点类似与谷歌的爬行方式。百度蜘蛛机器人爬行首页的方式还是同原来一样,一天不知要爬行多少次首页,其它页面,如果百度认为有必要进行计算的话,就会进行第二次确认爬行。
) B( ~  p9 u; T! ~* B本文出自 淘宝网婴儿车http://www.mywebflashgame.com
% Z8 {8 [6 @5 q% {" Y

暂时无法加载帖子列表

回复

使用道具 举报

幸福小猪 发表于 2025-11-09 13:41:04 | 显示全部楼层
这个思路很新颖,打开了新世界的大门,谢谢分享
回复

使用道具 举报

助高助高 发表于 2026-02-27 07:49:08 | 显示全部楼层
楼主辛苦了,整理这么多内容,必须点赞收藏
回复

使用道具 举报

天天广告联盟 发表于 2026-05-22 16:31:59 | 显示全部楼层
学习到了,之前一直没注意过这个点,受教了
回复

使用道具 举报

的士屠夫 发表于 2026-06-02 18:09:57 | 显示全部楼层
分析得很透彻,很多细节都说到点子上了~
回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-7-27 16:55 , Processed in 0.036860 second(s), 30 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表