找回密码
 加入怎通
查看: 1819|回复: 8

[关于百度] 百度蜘蛛只爬首页不爬内页是怎么回事?

[复制链接]
TONY 发表于 2011-11-24 10:34:03 | 显示全部楼层 |阅读模式
核心提示:百度蜘蛛只爬网站的首页不爬内页,这是怎么回事?这个问题很多人都纠结的,特别是新站上线,久久不见收录量增加,更是心急火燎。蜘蛛爬行情况可以通过网站IIS日志查看,日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。百度蜘蛛只爬网站的首页不爬内页,这是怎么回事?这个问题很多人都纠结的,特别是新站上线,久久不见收录量增加,更是心急火燎。0 O. \+ K- s3 t2 D
首先解决一个问题,怎么知道“百度蜘蛛只爬网站首页不爬内页”?
& k/ k% `  `; G& }蜘蛛爬行情况可以通过网站IIS日志查看,日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。
! T: f8 i& a+ I- U& k. }$ c4 x0 e神马?看不懂IIS日志?
7 M1 m9 P# H3 s; |网上有很多IIS日志分析工具,百度一下。这里推荐使用光年IIS日志分析工具,快速易用。# v! Q9 G4 Y, ]
接下来,南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。
  {4 N( e# j* y' B+ \% \# H$ k“百度蜘蛛只爬网站的首页不爬内页”原因有如下:4 i+ O, w; }% v( A
1、robots.txt,错误操作,屏蔽了内页。5 Z7 j  s# R& `* @) u% V) v
2、群发等作弊行为。% v$ D: W3 a, i& X0 F0 @; j
3、服务器的原因。. X7 ^3 @; ~5 R" Q9 N7 H# G
4、网站首页到内页的链接太少,导航结构混乱,导航不清楚。4 P+ `$ ]  v1 S" @9 c) H$ r
5、网站质量太烂,权重极低。, Z' {# F! G8 h) x" D6 e0 W  B, W
6、网站维护的时候三天打鱼两天晒网。
9 e2 u4 C7 B. }+ ~7、网站超级新,新的一塌糊涂。
6 X" E/ E: |8 a7 h$ d8、网站还在百度的沙盒中,百度蜘蛛爬了,也抓取了,没有放页面快照。2 C, J- e. ]" G3 s$ i, B
首页能够被百度蜘蛛爬行,说明网站并不是让蜘蛛不屑一顾。
) C' {; P& T( r& I* _% \% s那肯定就是上面7条原因中的某一条或者N条,导致了“百度蜘蛛只爬网站的首页不爬内页”。
- w$ o9 G2 a4 T, q探讨到此完毕,最后的最后呢,针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因,我们一一击破。4 U' d' ?5 T2 R0 A
1-8 依次检查网站,逐一排除,逐一解决。. W4 p( I' O4 }2 Z+ P; u& F( w
8大爆破方案如下:
: i* O1 d) K1 |, D, x破1、robots.txt的问题,浏览器输入,查看下,一目了然。7 j2 O, ]) |: f' e0 Y) p7 K1 d
破2、这个情况,作为网站的维护者最清楚。如果有群发的seo作弊手法,造成百度蜘蛛只爬网站的首页不爬内页”很常见。
, q* X3 }) p$ S5 h7 R  }处理方法:
% }2 D6 K! ?% v7 g6 @* A4 Y% B停止群发的一切seo作弊手法。
+ J/ ~$ E* c1 j- X7 G( A有规律并且持续的更新网站内容,网站内容最好原创,次点也要是高质量的伪原创。  a% x4 J0 v: L* y1 J/ P. u$ I' t& N) e
适当的做点外链和友情链接,引引蜘蛛。
5 M$ Y0 ]: Y  x! c6 Z& l5 N这种情况只能淡定的坚持,等。  P. w5 q% J9 B6 L3 m, i
破3、可以通过查询“网页http状态码 ”,分析网站返回的代码,判断问题原因。
1 i+ _! Z5 }5 k- o0 G' _: K3 W还有一种情况,与你同IP服务器的网站被百度惩罚,从而牵连到你的网站。/ K8 U+ M; q( m. k+ G: z6 z
要么你还淡定的坚持,等。要么换服务器。; M, s, D9 E4 V$ ]" ~: K' e
破4、整理网站导航,理顺结构,让网站导航更清晰明了。
/ q- b3 ~( V/ h% a" G6 l" ?调用文章标题到首页,增加一个“最新文章”、“文章推荐”等版块,增加内页入口。  z6 i  w) i+ ^+ t& h
破5、站内文章垃圾得百度蜘蛛都懒得去爬,你还祈求蜘蛛爬完首页爬内页?
$ R  T6 @% H# G整理修改已经被百度收录的垃圾内容,清理未被收录的。
* _& |6 [. ~1 _" I) D然后坚持有质量、有数量的更新网站内容,同时做好站外链接工作。0 I& X/ F( k. I$ ?# g( u
破6、月初更新一篇,月末更新一篇,天天抱怨为什么“百度蜘蛛只爬网站的首页不爬内页”。* ]. z2 M& y" I" I
省省力气更新几篇文章吧。; T% p9 D+ T4 t$ Z
百度蜘蛛像人一样,它本来是1天来一次,你网站没有更新。然后就2天来一次,你的网站依旧没有更新。然后的然后就是5、10、15。# y( `: D9 i0 P( q) h# M" Z+ ^
百度蜘蛛也有自己的行为习惯的,虽然它的智能很低级,也不能置之不理。/ U0 q/ P8 A* B, \+ }1 Z
破7、作为一个新站就低调点,别天天都纠结“百度蜘蛛只爬网站的首页不爬内页”的问题。
( e* p4 F) r! v0 C8 k制定自己的网站优化方案,维护更新管理的网站,切忌使用任何作弊手法。
) j! m/ b! K$ Y! G& \  T破8、这个原因很难确定,如果以上原因你的网站都不存在,而你的网站也是“百度蜘蛛只爬网站的首页不爬内页”。
! N, @1 ]2 @2 T; b$ a) Y那么,就可能是还处在百度的沙盒之中。/ D6 X% L+ P3 F% L
这是百度对新网站的考查期,或者是网站被惩罚后的观察期。6 P9 N3 E9 J& \+ B6 Z4 Z8 s& l
淡定面对,积极执行已定的网站优化方案。* s- l2 V' e% r9 k8 b
今天就这么滴吧,希望南唐的文章能够帮到你。
$ Z" y0 t9 [; @; x* w2 t本文出自:南唐的网站优化博客,地址:http://www.ba77.com/post/15.html,转载须注明!: V$ \( l' r" e

暂时无法加载帖子列表

回复

使用道具 举报

 楼主| TONY 发表于 2011-11-26 05:32:45 | 显示全部楼层
不错   学习了  谢谢楼主分享:)
回复

使用道具 举报

真是想不到 发表于 2026-07-13 02:36:04 | 显示全部楼层
内容很干货,没有多余的废话,值得反复看
回复

使用道具 举报

beisi0520 发表于 2026-07-27 20:03:05 | 显示全部楼层
学习到了,之前一直没注意过这个点,受教了
回复

使用道具 举报

曾进明 发表于 2026-08-04 11:45:11 | 显示全部楼层
楼主太厉害了,整理得这么详细,必须支持
回复

使用道具 举报

西万路小混混 发表于 2026-09-03 10:45:46 | 显示全部楼层
楼主辛苦了,整理这么多内容,必须点赞收藏
回复

使用道具 举报

简单了然 发表于 2026-09-05 11:26:58 | 显示全部楼层
这个思路很新颖,打开了新世界的大门,谢谢分享
回复

使用道具 举报

wang_wei 发表于 2026-09-21 03:46:55 | 显示全部楼层
说得很实在,没有夸大其词,这种真实分享太难得了
回复

使用道具 举报

vvfb 发表于 2026-10-18 18:13:49 | 显示全部楼层
完全赞同,我也是这么认为的,英雄所见略同~
回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-10-26 22:14 , Processed in 0.040026 second(s), 30 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表