找回密码
 加入怎通
查看: 1685|回复: 1

[关于百度] 百度蜘蛛只爬首页不爬内页是怎么回事?

[复制链接]
TONY 发表于 2011-11-24 10:34:03 | 显示全部楼层 |阅读模式
核心提示:百度蜘蛛只爬网站的首页不爬内页,这是怎么回事?这个问题很多人都纠结的,特别是新站上线,久久不见收录量增加,更是心急火燎。蜘蛛爬行情况可以通过网站IIS日志查看,日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。百度蜘蛛只爬网站的首页不爬内页,这是怎么回事?这个问题很多人都纠结的,特别是新站上线,久久不见收录量增加,更是心急火燎。
$ q7 a/ y* B* a% g9 P首先解决一个问题,怎么知道“百度蜘蛛只爬网站首页不爬内页”?; V7 J- z4 a) w4 m+ D8 s7 D. B) K
蜘蛛爬行情况可以通过网站IIS日志查看,日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。
8 v( s2 Q8 ~' k# L; K9 y神马?看不懂IIS日志?4 O  w* c% ]& C: h
网上有很多IIS日志分析工具,百度一下。这里推荐使用光年IIS日志分析工具,快速易用。
& N5 {4 p( x* o接下来,南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。" d; Q1 \2 Q+ W; H) c
“百度蜘蛛只爬网站的首页不爬内页”原因有如下:
. _: R0 A( y( ]0 o1、robots.txt,错误操作,屏蔽了内页。
# ]* _1 v+ S  {4 N2、群发等作弊行为。1 b$ \# R% J8 c
3、服务器的原因。
5 |& r  a: g5 T/ a2 d6 x; f  R4、网站首页到内页的链接太少,导航结构混乱,导航不清楚。3 e. F" v0 y2 C2 R( t/ X/ t. [
5、网站质量太烂,权重极低。
& P  `; ]3 w( {1 `6、网站维护的时候三天打鱼两天晒网。
( x+ s$ n" S9 w' P+ q3 r) j3 b7、网站超级新,新的一塌糊涂。# T  z5 O0 }) C  g) R+ L
8、网站还在百度的沙盒中,百度蜘蛛爬了,也抓取了,没有放页面快照。: Z- I8 A7 R- m  A( n/ w
首页能够被百度蜘蛛爬行,说明网站并不是让蜘蛛不屑一顾。
7 z; H+ g! H' o% D$ x那肯定就是上面7条原因中的某一条或者N条,导致了“百度蜘蛛只爬网站的首页不爬内页”。( b- g, ~/ F) Q1 k$ I
探讨到此完毕,最后的最后呢,针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因,我们一一击破。
6 e- X! k; C7 P, f2 P1-8 依次检查网站,逐一排除,逐一解决。  c* s) n5 L2 q8 Z) b2 ^- B! y
8大爆破方案如下:; R- C' M- G8 t1 d6 N( O: A% ^9 B
破1、robots.txt的问题,浏览器输入,查看下,一目了然。
, d' Q% c$ N# ?7 l( c* `+ H破2、这个情况,作为网站的维护者最清楚。如果有群发的seo作弊手法,造成百度蜘蛛只爬网站的首页不爬内页”很常见。. m( t8 ^) o9 x
处理方法:
' w8 M/ q# S, g" E) W1 a( e$ F7 n) d停止群发的一切seo作弊手法。
/ b. }% h* s2 W# E3 M有规律并且持续的更新网站内容,网站内容最好原创,次点也要是高质量的伪原创。# U& G5 }; N& A3 C* m, L0 |
适当的做点外链和友情链接,引引蜘蛛。) h  H& x. e+ `2 z
这种情况只能淡定的坚持,等。7 ]3 f( _; s" `
破3、可以通过查询“网页http状态码 ”,分析网站返回的代码,判断问题原因。
# u$ l! L$ W0 B- `  e0 i0 Y% s* V* p还有一种情况,与你同IP服务器的网站被百度惩罚,从而牵连到你的网站。
0 N+ F! q$ v) O/ Z! [) D+ b要么你还淡定的坚持,等。要么换服务器。7 t( j& E0 `# n, X8 d
破4、整理网站导航,理顺结构,让网站导航更清晰明了。5 ^) Y6 F% }' j3 P2 @, L
调用文章标题到首页,增加一个“最新文章”、“文章推荐”等版块,增加内页入口。
& c: t$ a( S: l7 x0 D, s; p破5、站内文章垃圾得百度蜘蛛都懒得去爬,你还祈求蜘蛛爬完首页爬内页?6 W9 e# A$ C3 M& P1 Y4 @
整理修改已经被百度收录的垃圾内容,清理未被收录的。  p* j( q4 J& W$ u
然后坚持有质量、有数量的更新网站内容,同时做好站外链接工作。2 H, H: Q# V5 o3 m
破6、月初更新一篇,月末更新一篇,天天抱怨为什么“百度蜘蛛只爬网站的首页不爬内页”。
) p. e- f  O8 C省省力气更新几篇文章吧。9 ], _6 M1 b2 {! ^
百度蜘蛛像人一样,它本来是1天来一次,你网站没有更新。然后就2天来一次,你的网站依旧没有更新。然后的然后就是5、10、15。
4 b* E8 {: r4 H& S# T3 J' s百度蜘蛛也有自己的行为习惯的,虽然它的智能很低级,也不能置之不理。- X: Z: i# o# _
破7、作为一个新站就低调点,别天天都纠结“百度蜘蛛只爬网站的首页不爬内页”的问题。
1 d' i/ u: c1 m- q制定自己的网站优化方案,维护更新管理的网站,切忌使用任何作弊手法。
# x7 h9 P- G) N, T7 x破8、这个原因很难确定,如果以上原因你的网站都不存在,而你的网站也是“百度蜘蛛只爬网站的首页不爬内页”。
  I* S" T1 V# D+ C那么,就可能是还处在百度的沙盒之中。
9 y* W( M$ e( e这是百度对新网站的考查期,或者是网站被惩罚后的观察期。) }0 V5 Z+ D  F: ^. k
淡定面对,积极执行已定的网站优化方案。
5 E& V+ {9 n' g今天就这么滴吧,希望南唐的文章能够帮到你。
& ~& s8 l) E( T# g3 Q本文出自:南唐的网站优化博客,地址:http://www.ba77.com/post/15.html,转载须注明!) P* e3 S+ H. ^% a
回复

使用道具 举报

 楼主| TONY 发表于 2011-11-26 05:32:45 | 显示全部楼层
不错   学习了  谢谢楼主分享:)
回复 支持 反对

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-4-28 01:35 , Processed in 0.082034 second(s), 28 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表