找回密码
 加入怎通
查看: 1714|回复: 2

[关于百度] 百度蜘蛛只爬首页不爬内页是怎么回事?

[复制链接]
TONY 发表于 2011-11-24 10:34:03 | 显示全部楼层 |阅读模式
核心提示:百度蜘蛛只爬网站的首页不爬内页,这是怎么回事?这个问题很多人都纠结的,特别是新站上线,久久不见收录量增加,更是心急火燎。蜘蛛爬行情况可以通过网站IIS日志查看,日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。百度蜘蛛只爬网站的首页不爬内页,这是怎么回事?这个问题很多人都纠结的,特别是新站上线,久久不见收录量增加,更是心急火燎。
* f" b$ m1 J. P' ]首先解决一个问题,怎么知道“百度蜘蛛只爬网站首页不爬内页”?2 R: p6 j% b0 u/ r6 p" C& u2 \0 K0 G8 j
蜘蛛爬行情况可以通过网站IIS日志查看,日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。0 U. t; }9 D& w+ b+ U
神马?看不懂IIS日志?; h0 g, B5 [4 b. W% f
网上有很多IIS日志分析工具,百度一下。这里推荐使用光年IIS日志分析工具,快速易用。1 t9 T' R, R  j3 P4 J3 O) j5 h. P
接下来,南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。
/ B; @( I5 ~# ^, K0 ?“百度蜘蛛只爬网站的首页不爬内页”原因有如下:
! l  Z. L; a+ ~; p4 n2 _/ A1、robots.txt,错误操作,屏蔽了内页。
$ w: k4 K5 G% D+ f$ \3 z# R  R+ l# f2、群发等作弊行为。
" t, H# F0 l$ B% r8 h; @2 k2 `2 e3、服务器的原因。
( Y7 |& o8 G) ]$ q4、网站首页到内页的链接太少,导航结构混乱,导航不清楚。, `7 q$ N- ]6 O; H
5、网站质量太烂,权重极低。
' m# o- g3 I- e) T) W6、网站维护的时候三天打鱼两天晒网。9 z( ~# V% r* [9 R: g* P1 y
7、网站超级新,新的一塌糊涂。4 Y; e0 [5 x% D
8、网站还在百度的沙盒中,百度蜘蛛爬了,也抓取了,没有放页面快照。$ ^# j: I" \1 o. }" T( }- B+ u. m* O
首页能够被百度蜘蛛爬行,说明网站并不是让蜘蛛不屑一顾。
. e- n- r7 E0 G" G/ x, t, b那肯定就是上面7条原因中的某一条或者N条,导致了“百度蜘蛛只爬网站的首页不爬内页”。6 a! \* I1 Q7 W  B+ _. k6 i
探讨到此完毕,最后的最后呢,针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因,我们一一击破。  A% `* Y3 v5 O1 M+ [
1-8 依次检查网站,逐一排除,逐一解决。
( y: s; Q! K( \& ~. c8大爆破方案如下:
! g8 U5 U: O; k6 q, w破1、robots.txt的问题,浏览器输入,查看下,一目了然。
& w7 o5 R0 Y3 r破2、这个情况,作为网站的维护者最清楚。如果有群发的seo作弊手法,造成百度蜘蛛只爬网站的首页不爬内页”很常见。
$ _# T# ^% c* s处理方法:
5 ~& C0 {% w  ?) n停止群发的一切seo作弊手法。
- k) \0 G3 {3 T' d4 V有规律并且持续的更新网站内容,网站内容最好原创,次点也要是高质量的伪原创。$ z3 G2 o8 O* o3 \" t$ o7 h
适当的做点外链和友情链接,引引蜘蛛。! b/ A/ D, p! o+ |7 k1 `1 }
这种情况只能淡定的坚持,等。
$ F+ p4 |8 L; G% U, G0 y( U破3、可以通过查询“网页http状态码 ”,分析网站返回的代码,判断问题原因。
. i3 e3 ]/ d/ R- K9 M还有一种情况,与你同IP服务器的网站被百度惩罚,从而牵连到你的网站。! \7 Z) m' z' f( l8 p8 A
要么你还淡定的坚持,等。要么换服务器。7 F: B+ x$ Y, e' m* v7 k$ ^
破4、整理网站导航,理顺结构,让网站导航更清晰明了。
- a- ]# _  v6 _& m5 P( R调用文章标题到首页,增加一个“最新文章”、“文章推荐”等版块,增加内页入口。
0 M& P! r! Z  ~; {+ B) g0 L破5、站内文章垃圾得百度蜘蛛都懒得去爬,你还祈求蜘蛛爬完首页爬内页?
1 `1 u& f) K" i+ O# w$ o( g) B整理修改已经被百度收录的垃圾内容,清理未被收录的。
3 F2 X% @. G1 {然后坚持有质量、有数量的更新网站内容,同时做好站外链接工作。
- ~9 R: i% V. ?破6、月初更新一篇,月末更新一篇,天天抱怨为什么“百度蜘蛛只爬网站的首页不爬内页”。8 }& q! n' H5 G) T
省省力气更新几篇文章吧。
! |3 g6 P* p- N# K) N4 }* J  f1 W2 A百度蜘蛛像人一样,它本来是1天来一次,你网站没有更新。然后就2天来一次,你的网站依旧没有更新。然后的然后就是5、10、15。
$ Y. k. r2 J8 V+ b百度蜘蛛也有自己的行为习惯的,虽然它的智能很低级,也不能置之不理。
0 N5 m- A  _6 }6 m破7、作为一个新站就低调点,别天天都纠结“百度蜘蛛只爬网站的首页不爬内页”的问题。" f0 c4 _0 p- v' I8 i# @2 `9 O$ b
制定自己的网站优化方案,维护更新管理的网站,切忌使用任何作弊手法。2 q" Y1 H- R! }( ^1 L
破8、这个原因很难确定,如果以上原因你的网站都不存在,而你的网站也是“百度蜘蛛只爬网站的首页不爬内页”。
/ m+ D& F/ ?* f- n8 [那么,就可能是还处在百度的沙盒之中。
, X8 H5 |$ Y: T: g) S这是百度对新网站的考查期,或者是网站被惩罚后的观察期。
* h4 }+ i3 {! p- z淡定面对,积极执行已定的网站优化方案。
9 b% z9 J$ Q' n8 k9 T8 Y今天就这么滴吧,希望南唐的文章能够帮到你。
% D5 Z: k* J( V  @3 d+ t本文出自:南唐的网站优化博客,地址:http://www.ba77.com/post/15.html,转载须注明!
; X' j- n% P7 k+ w; w

暂时无法加载帖子列表

回复

使用道具 举报

 楼主| TONY 发表于 2011-11-26 05:32:45 | 显示全部楼层
不错   学习了  谢谢楼主分享:)
回复

使用道具 举报

真是想不到 发表于 2026-07-13 02:36:04 | 显示全部楼层
内容很干货,没有多余的废话,值得反复看
回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-7-27 20:03 , Processed in 0.060822 second(s), 56 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表