找回密码
 加入怎通
查看: 1716|回复: 3

[关于百度] 百度蜘蛛只爬首页不爬内页是怎么回事?

[复制链接]
TONY 发表于 2011-11-24 10:34:03 | 显示全部楼层 |阅读模式
核心提示:百度蜘蛛只爬网站的首页不爬内页,这是怎么回事?这个问题很多人都纠结的,特别是新站上线,久久不见收录量增加,更是心急火燎。蜘蛛爬行情况可以通过网站IIS日志查看,日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。百度蜘蛛只爬网站的首页不爬内页,这是怎么回事?这个问题很多人都纠结的,特别是新站上线,久久不见收录量增加,更是心急火燎。& G9 C+ O! u, m1 A1 R
首先解决一个问题,怎么知道“百度蜘蛛只爬网站首页不爬内页”?3 K" T  b# r5 ?8 `5 v+ ]9 U
蜘蛛爬行情况可以通过网站IIS日志查看,日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。
, K! x, h6 f9 v4 W. Z- v神马?看不懂IIS日志?9 n& `9 x' `0 D! E7 \5 Z
网上有很多IIS日志分析工具,百度一下。这里推荐使用光年IIS日志分析工具,快速易用。- e6 N, Q" e: K- c: L/ }2 r$ N
接下来,南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。
3 k& W* V, M/ r7 l6 B( ]0 M/ X“百度蜘蛛只爬网站的首页不爬内页”原因有如下:8 r1 E5 c# z# X
1、robots.txt,错误操作,屏蔽了内页。+ k7 Q# B# I% X$ h& u* T
2、群发等作弊行为。( Z2 {) d2 t; |) E
3、服务器的原因。$ ]0 a0 F1 h9 _  {& T
4、网站首页到内页的链接太少,导航结构混乱,导航不清楚。6 t' m; e2 q& g0 K. u
5、网站质量太烂,权重极低。
/ Y/ }& f* g$ o! \' m/ U' F' \! T5 v  |- c6、网站维护的时候三天打鱼两天晒网。/ m/ C" P7 R% t
7、网站超级新,新的一塌糊涂。
$ l% i2 T/ n0 t2 b: y8、网站还在百度的沙盒中,百度蜘蛛爬了,也抓取了,没有放页面快照。
5 x( I0 |  F! R" N( M2 {( G首页能够被百度蜘蛛爬行,说明网站并不是让蜘蛛不屑一顾。
" x% v" G  v  u8 |" r2 F$ E1 c那肯定就是上面7条原因中的某一条或者N条,导致了“百度蜘蛛只爬网站的首页不爬内页”。: j5 }% G9 g2 j' E
探讨到此完毕,最后的最后呢,针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因,我们一一击破。3 \, N  t0 q& D: C& X5 W
1-8 依次检查网站,逐一排除,逐一解决。
$ P7 `$ G5 ^# T; |7 g8大爆破方案如下:/ _! `, f9 t5 n4 e: E& A2 O
破1、robots.txt的问题,浏览器输入,查看下,一目了然。
8 ?2 X- p! u' c1 u6 c; S7 U% r" J# j破2、这个情况,作为网站的维护者最清楚。如果有群发的seo作弊手法,造成百度蜘蛛只爬网站的首页不爬内页”很常见。6 o4 c3 S' f0 U6 z# I; _7 N7 c0 G
处理方法:
. P+ ?" L8 x; Z) O& V% Y停止群发的一切seo作弊手法。# }4 G+ z/ s: v- w; b% T  E1 S/ N, w
有规律并且持续的更新网站内容,网站内容最好原创,次点也要是高质量的伪原创。( C$ B6 p, `, {! a* D% M, S. u
适当的做点外链和友情链接,引引蜘蛛。
9 R) x: @9 L' u- \  d9 r% T这种情况只能淡定的坚持,等。
' S6 f* x, }5 R- l' @8 O破3、可以通过查询“网页http状态码 ”,分析网站返回的代码,判断问题原因。
4 A) s' A7 c' M  b9 @: \- H还有一种情况,与你同IP服务器的网站被百度惩罚,从而牵连到你的网站。
: F$ y; R- X( A/ `+ {% q3 h要么你还淡定的坚持,等。要么换服务器。- _1 |" V& R' T# s0 S
破4、整理网站导航,理顺结构,让网站导航更清晰明了。' }5 k) u! ^% m: A, }# V% x
调用文章标题到首页,增加一个“最新文章”、“文章推荐”等版块,增加内页入口。
  ]+ ~4 j! l7 b# Q& O破5、站内文章垃圾得百度蜘蛛都懒得去爬,你还祈求蜘蛛爬完首页爬内页?
& F6 o3 e7 u! G; F# a整理修改已经被百度收录的垃圾内容,清理未被收录的。
% O' E- _% N% @然后坚持有质量、有数量的更新网站内容,同时做好站外链接工作。
. S8 i4 ?. w' A5 m0 r  p破6、月初更新一篇,月末更新一篇,天天抱怨为什么“百度蜘蛛只爬网站的首页不爬内页”。) i2 v& d' p" H  C
省省力气更新几篇文章吧。
* y- {9 a. m: F' O0 z2 G8 A百度蜘蛛像人一样,它本来是1天来一次,你网站没有更新。然后就2天来一次,你的网站依旧没有更新。然后的然后就是5、10、15。
: W3 Q, U6 B2 W, M( `- B百度蜘蛛也有自己的行为习惯的,虽然它的智能很低级,也不能置之不理。
/ ?+ Y( S) ?% ~; U# [6 k破7、作为一个新站就低调点,别天天都纠结“百度蜘蛛只爬网站的首页不爬内页”的问题。+ W& N3 j- T, M% ], n
制定自己的网站优化方案,维护更新管理的网站,切忌使用任何作弊手法。- a% t( V! z2 T$ o) d+ ?: Q' \
破8、这个原因很难确定,如果以上原因你的网站都不存在,而你的网站也是“百度蜘蛛只爬网站的首页不爬内页”。
: M5 [( u2 Q$ z  ?4 o那么,就可能是还处在百度的沙盒之中。2 M0 d* ~* T% {- ~8 z  e/ l
这是百度对新网站的考查期,或者是网站被惩罚后的观察期。0 b0 [& q" c- r4 M; F: d  ^
淡定面对,积极执行已定的网站优化方案。
. _4 j# G  X6 u* b5 r- M# j* L今天就这么滴吧,希望南唐的文章能够帮到你。
( D! O; s& x  P( d本文出自:南唐的网站优化博客,地址:http://www.ba77.com/post/15.html,转载须注明!! }0 |5 H" t% C2 t: M% t( o9 F

暂时无法加载帖子列表

回复

使用道具 举报

 楼主| TONY 发表于 2011-11-26 05:32:45 | 显示全部楼层
不错   学习了  谢谢楼主分享:)
回复

使用道具 举报

真是想不到 发表于 2026-07-13 02:36:04 | 显示全部楼层
内容很干货,没有多余的废话,值得反复看
回复

使用道具 举报

beisi0520 发表于 2026-07-27 20:03:05 | 显示全部楼层
学习到了,之前一直没注意过这个点,受教了
回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-7-27 20:08 , Processed in 0.039272 second(s), 28 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表