找回密码
 加入怎通
查看: 427|回复: 6

[站长八卦] 为什么蜘蛛只爬行首页而不爬行内页

[复制链接]
添美-阿吉 发表于 2013-05-13 12:10:18 | 显示全部楼层 |阅读模式
! J) w/ {& J6 t. }/ y3 e0 N7 |9 s6 u
   百度蜘蛛只爬网站的首页不爬内页,这是怎么回事?这个问题很多人都纠结的,特别是新站上线,久久不见收录量增加,更是心急火燎。
) O" x' t8 u8 X# r" d5 s6 e- I      首先解决一个问题,怎么知道“百度蜘蛛只爬网站首页不爬内页”?
0 s6 y  M# u  ^      蜘蛛爬行情况可以通过网站IIS日志查看,日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。/ S  U+ G1 u. [: A
      神马?看不懂IIS日志?
1 |8 f+ ^; I' d) R. W# U      网上有很多IIS日志分析工具,百度一下。这里推荐使用光年IIS日志分析工具,快速易用。: t2 |4 p5 d* J) |
      接下来,南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。% z0 g5 x+ U: u
      “百度蜘蛛只爬网站的首页不爬内页”原因有如下:- {1 K7 y: t; O: {
      1、robots.txt,错误操作,屏蔽了内页。
; S5 B; T0 i. ~/ h0 t      2、群发等作弊行为。
# b# m0 N9 l" C# p9 N. G+ D9 Y: E. H3 z      3、服务器的原因。
# D- i- ^, L$ H; t6 l      4、网站首页到内页的链接太少,导航结构混乱,导航不清楚。
. Y  o6 A: y0 x! Y7 Z  _      5、网站质量太烂,权重极低。
. ?/ ^+ k( j/ j% b* C" X  X      6、网站维护的时候三天打鱼两天晒网。
+ W% J$ {! _' u0 ]* q0 d, `1 f      7、网站超级新,新的一塌糊涂。
- k/ ]% B% w% `1 p2 Z7 Z4 }      8、网站还在百度的沙盒中,百度蜘蛛爬了,也抓取了,没有放页面快照。
7 Z) C% @; j) {. c1 }      首页能够被百度蜘蛛爬行,说明网站并不是让蜘蛛不屑一顾。2 _9 J5 Z8 e4 s, x- Y! O
      那肯定就是上面7条原因中的某一条或者N条,导致了“百度蜘蛛只爬网站的首页不爬内页”。! O: F& ^# M) `4 h. y- S
      探讨到此完毕,最后的最后呢,针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因,我们一一击破。' ]. _( _' @+ h$ f' i5 G2 q0 ^6 b
      1-8 依次检查网站,逐一排除,逐一解决。
  B) Y! v( }* d2 [) L      8大爆破方案如下:: s3 N% X# M$ V9 v
      1、robots.txt的问题,浏览器输入,查看下,一目了然。
3 |( z% s& s8 G      2、这个情况,作为网站的维护者最清楚。如果有群发的seo作弊手法,造成百度蜘蛛只爬网站的首页不爬内页”很常见。- c1 L; @9 M! d) P* d7 r
      处理方法:
' y- R* A2 F1 H6 }2 ?& E- `$ i+ y      停止群发的一切seo作弊手法。
9 Q. R' C( X# W) h  e4 k      有规律并且持续的更新网站内容,网站内容最好原创,次点也要是高质量的伪原创。1 ?3 }- o. x  M* `
      适当的做点外链和友情链接,引引蜘蛛。- X5 _/ W% X4 E' q+ r, B1 D6 x
      这种情况只能淡定的坚持,等。
7 W! p! D" T' Q3 R8 R* T      3、可以通过查询“网页http状态码 ”,分析网站返回的代码,判断问题原因。
- S* Q5 J% w* s* a) x3 Z% G1 ^- F& t      还有一种情况,与你同IP服务器的网站被百度惩罚,从而牵连到你的网站。
1 u( s- y, z# i      要么你还淡定的坚持,等。要么换服务器。$ k& K( w: T2 R4 W' G/ D/ O+ p5 d
      4、整理网站导航,理顺结构,让网站导航更清晰明了。8 n  F; y0 ]4 l6 |5 I, C( ^
      调用文章标题到首页,增加一个“最新文章”、“文章推荐”等版块,增加内页入口。  k8 V9 {) K- P) y
      5、站内文章垃圾得百度蜘蛛都懒得去爬,你还祈求蜘蛛爬完首页爬内页?) @# K' x$ z- X5 J4 y# [, d3 V
      整理修改已经被百度收录的垃圾内容,清理未被收录的。
& _5 O) }! b6 Y2 @9 b      然后坚持有质量、有数量的更新网站内容,同时做好站外链接工作。
& Z0 w7 v: P/ F      6、月初更新一篇,月末更新一篇,天天抱怨为什么“百度蜘蛛只爬网站的首页不爬内页”。% k/ d1 K7 t, P/ y8 R1 e
      省省力气更新几篇文章吧。% W2 c9 \/ m* c7 ?& N# d/ P0 X6 m
      百度蜘蛛像人一样,它本来是1天来一次,你网站没有更新。然后就2天来一次,你的网站依旧没有更新。然后的然后就是5、10、15。
8 s) ]* w. _/ s$ I  v      百度蜘蛛也有自己的行为习惯的,虽然它的智能很低级,也不能置之不理。# E. w& T2 I  A4 D
      7、作为一个新站就低调点,别天天都纠结“百度蜘蛛只爬网站的首页不爬内页”的问题。
1 X) H# y) ^+ M; n" y      制定自己的网站优化方案,维护更新管理的网站,切忌使用任何作弊手法。
1 I0 t( Y: {0 a& v: J      8、这个原因很难确定,如果以上原因你的网站都不存在,而你的网站也是“百度蜘蛛只爬网站的首页不爬内页”。
- P4 p! S& u2 W. j& a6 I
5 \! \" D3 f, b, K% B

暂时无法加载帖子列表

回复

使用道具 举报

杨强 发表于 2026-10-06 21:31:08 | 显示全部楼层
完全赞同,我也是这么认为的,英雄所见略同~
回复

使用道具 举报

让我再飞一会儿 发表于 2026-10-11 21:16:39 | 显示全部楼层
楼主太厉害了,整理得这么详细,必须支持
回复

使用道具 举报

≮_龍/kuk域_≯ 发表于 2026-10-14 01:36:53 | 显示全部楼层
分析得很透彻,很多细节都说到点子上了~
回复

使用道具 举报

小小 发表于 2026-10-19 23:14:08 | 显示全部楼层
蹲了这么久,终于看到有价值的讨论,支持一下!
回复

使用道具 举报

西万路小混混 发表于 2026-10-23 13:10:56 | 显示全部楼层
这个思路很新颖,打开了新世界的大门,谢谢分享
回复

使用道具 举报

龙槐花 发表于 2026-10-24 20:13:38 | 显示全部楼层
这个分享太实用了,刚好能用到,感谢楼主!
回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-10-28 05:37 , Processed in 0.039700 second(s), 26 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表