找回密码
 加入怎通
查看: 1287|回复: 2

[关于百度] 百度蜘蛛爬行规律详解

[复制链接]
TONY 发表于 2012-03-27 20:41:07 | 显示全部楼层 |阅读模式
百度蜘蛛,英文名是“Baiduspider”是百度搜索引擎的一个自动程序。它的作用是访问互联网上的网页、图片、视频等内容,建立索引数据库,使用户能在百度搜索引擎搜索到您网站的网页、图片、视频等内容。Baiduspider是一套人自己编制的程序,百度蜘蛛的爬行有一定的规律可寻,以下来看看百度蜘蛛到底是如何爬行的呢?​
& A! F+ O/ |; B# C5 n7 N( H
' ^: Z! M1 |( j3 ^& L2 W3 |一、爆发式爬行
7 U/ u: W( N8 m' `! |6 i) S  
) p: i+ |! R8 K$ Z" d- M% r+ \) D不知百度蜘蛛是不是喜欢高效率的爬行,有时百度蜘蛛能在一两分钟内爬行几百次。因为蜘蛛机器人,它爬行一段时间过后,蜘蛛机器人再去运算程序,看是否是原来收录过的,是否是原创什么的,是否应该收录等等。毕竟这样的爬行不会经常出现,只是偶有现身。
, j: c+ ]' ]. x: r5 M9 i) w3 q4 F! `* \3 Z6 ]' G5 x& ~/ G
二、稳定式爬行
  {% P0 T: P, W' z9 v2 w  / e6 U$ M$ C. m8 @! }
稳定式爬行,指的是每天24小时,每一个小时的爬行量相差不大。稳定式爬行往往是对新站才会出现,对于百度认为你站是成熟期的,如果出现了这种爬行方式,你可一定要小心了,这种爬行方式,你的站多半会被降权。第二天就能看出来,首页的快照日期,一定不会给你更新的。就好比一个人做任何事情时的,没有了激情,也就没有了爆发力,当然不会卖力干事的,不卖力干事,你说效果会有多好。& m2 {! M3 n& r- N: X3 t
: _, ~: R) T9 y$ p9 H! t& O
三、确认式爬行  e' _  W+ _, U& d
  
" Y; U0 Z% Q9 u/ x  什么是确认式爬行呢?就是指你网站更新一个内容过后,百度第一次爬行过后,一定不会给你放出收录来,百度蜘蛛还要进行第二次爬行再运算、比较计算的,如果认为你这个更新内容有必要收录,百度蜘蛛会进行第三次爬行,正常情况下百度蜘蛛不会进行第四次爬行。第三次确认过后,百度蜘蛛就会慢慢的给你放出收录。2 D4 W! x6 C9 I. r. R8 a5 c! T
  
0 x* i9 q+ ]8 e% s  这种确认式爬行方式,就有点类似与谷歌的爬行方式。百度蜘蛛机器人爬行首页的方式还是同原来一样,一天不知要爬行多少次首页,其它页面,如果百度认为有必要进行计算的话,就会进行第二次确认爬行。 
0 Q$ D5 U  a- r以上说了这么多,大家可能有疑问了,百度蜘蛛来没有,我怎么知道,这个很简单你可以去查看服务器的记录日志。你如果查看不了记录日志的话,看一下网站后台有没有记录蜘蛛爬行记录的。做百度优化的朋友都知道,百度相对Google而言是比较难做的,但“世上无难事,只怕有心人。”只要用心去做,相信成功近在咫尺。下一篇我会介绍服务器日志分析!!!
回复

使用道具 举报

a9allp 发表于 2026-03-13 13:36:20 | 显示全部楼层
分析得很透彻,很多细节都说到点子上了~
回复 支持 反对

使用道具 举报

杨强 发表于 2026-04-28 01:23:29 | 显示全部楼层
刚好遇到类似问题,看完这个帖子心里有底了
回复 支持 反对

使用道具 举报

2026年4月28日真牛社区(fd.znbgj.com)签到记录贴
我今天最想说:「www.xtsjx.cn 小贴士机械网」.

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-4-28 20:55 , Processed in 0.055307 second(s), 28 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表