核心提示:百度蜘蛛只爬网站的首页不爬内页,这是怎么回事?这个问题很多人都纠结的,特别是新站上线,久久不见收录量增加,更是心急火燎。蜘蛛爬行情况可以通过网站IIS日志查看,日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。百度蜘蛛只爬网站的首页不爬内页,这是怎么回事?这个问题很多人都纠结的,特别是新站上线,久久不见收录量增加,更是心急火燎。$ C( Z1 J# `* M+ ^' q7 w& N
首先解决一个问题,怎么知道“百度蜘蛛只爬网站首页不爬内页”?! J7 D$ u: Z7 ?! ~* E
蜘蛛爬行情况可以通过网站IIS日志查看,日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。
$ X% Z8 s# b6 Y1 t4 S* \* H! V神马?看不懂IIS日志?
* i# t; m( @* c$ C网上有很多IIS日志分析工具,百度一下。这里推荐使用光年IIS日志分析工具,快速易用。6 `5 _( k5 M( {1 O! e5 \# V
接下来,南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。% ]7 Q" X* k" E# O: m8 X* ~& E
“百度蜘蛛只爬网站的首页不爬内页”原因有如下:
+ K! T4 E3 F d" y$ J: L# N1、robots.txt,错误操作,屏蔽了内页。/ J& l( E5 b, L2 Q4 V4 ~, Y
2、群发等作弊行为。* b7 z2 \) Z1 `# ?! k
3、服务器的原因。
5 l% S, d! {- v% \" N4、网站首页到内页的链接太少,导航结构混乱,导航不清楚。2 W K' {5 v' ?: g* h/ `( F
5、网站质量太烂,权重极低。
' x! ^2 i: Z& ^( y6、网站维护的时候三天打鱼两天晒网。3 e% L9 a/ W' L
7、网站超级新,新的一塌糊涂。' |3 ~' A, ^8 Y \& K0 ]
8、网站还在百度的沙盒中,百度蜘蛛爬了,也抓取了,没有放页面快照。
* q3 o X8 l5 k. q+ T8 h首页能够被百度蜘蛛爬行,说明网站并不是让蜘蛛不屑一顾。! H& ?: j% @- }% ` e9 }6 e/ B. V
那肯定就是上面7条原因中的某一条或者N条,导致了“百度蜘蛛只爬网站的首页不爬内页”。2 b( u3 B e; m3 v
探讨到此完毕,最后的最后呢,针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因,我们一一击破。
! j4 |* m% r B5 n1-8 依次检查网站,逐一排除,逐一解决。& p( r6 X; I V7 ^2 y/ Y' d2 O8 }% r: E
8大爆破方案如下:+ c6 k# k) r* z, L2 ~) T
破1、robots.txt的问题,浏览器输入,查看下,一目了然。
J8 }: Q' Z5 _1 k1 I破2、这个情况,作为网站的维护者最清楚。如果有群发的seo作弊手法,造成百度蜘蛛只爬网站的首页不爬内页”很常见。
1 g/ V( I( O' ~! t处理方法:! A: q; M' X# b, S' z/ Y2 R
停止群发的一切seo作弊手法。, Y8 l& }) F; T6 J7 D1 a0 H3 |3 Z5 G
有规律并且持续的更新网站内容,网站内容最好原创,次点也要是高质量的伪原创。
0 B1 f* E0 n- \$ }. j" p! F适当的做点外链和友情链接,引引蜘蛛。0 E8 N% Z4 _" r- N* r) d* d2 a
这种情况只能淡定的坚持,等。
0 e5 o. ` r, K5 _- x$ t P* n破3、可以通过查询“网页http状态码 ”,分析网站返回的代码,判断问题原因。
7 o. {! b7 s3 ^- {$ ?; r还有一种情况,与你同IP服务器的网站被百度惩罚,从而牵连到你的网站。9 u6 D+ S c! K0 x6 U8 }
要么你还淡定的坚持,等。要么换服务器。: i) W4 g# m2 B' L
破4、整理网站导航,理顺结构,让网站导航更清晰明了。
3 F3 \. v0 }1 i调用文章标题到首页,增加一个“最新文章”、“文章推荐”等版块,增加内页入口。6 W7 h, }6 q6 x# G
破5、站内文章垃圾得百度蜘蛛都懒得去爬,你还祈求蜘蛛爬完首页爬内页?
' I0 C) ^2 X, J$ ?( Y( Z1 O整理修改已经被百度收录的垃圾内容,清理未被收录的。6 p! s$ h, Z0 b* ?0 s; \
然后坚持有质量、有数量的更新网站内容,同时做好站外链接工作。
( ?; F! J. K8 r破6、月初更新一篇,月末更新一篇,天天抱怨为什么“百度蜘蛛只爬网站的首页不爬内页”。$ `7 v) |- c1 C( F. A& x
省省力气更新几篇文章吧。, w6 e# w' p5 ~3 i3 {! @" d
百度蜘蛛像人一样,它本来是1天来一次,你网站没有更新。然后就2天来一次,你的网站依旧没有更新。然后的然后就是5、10、15。
Y4 ?" @% w; g$ k: I* i9 q! Y百度蜘蛛也有自己的行为习惯的,虽然它的智能很低级,也不能置之不理。! u( ?# ^7 e& R; {& a" R: `
破7、作为一个新站就低调点,别天天都纠结“百度蜘蛛只爬网站的首页不爬内页”的问题。( _+ w2 t% u8 J4 I) l: @
制定自己的网站优化方案,维护更新管理的网站,切忌使用任何作弊手法。
& _* {8 G$ H' [& z" ?7 `破8、这个原因很难确定,如果以上原因你的网站都不存在,而你的网站也是“百度蜘蛛只爬网站的首页不爬内页”。 O# r, Y. i% A7 V
那么,就可能是还处在百度的沙盒之中。
+ w& J9 l7 x+ t* R# F% T这是百度对新网站的考查期,或者是网站被惩罚后的观察期。( S3 a( m4 x$ P+ F0 }3 ?9 I1 Q
淡定面对,积极执行已定的网站优化方案。6 T2 P/ I* G- ]2 B4 W0 u; j
今天就这么滴吧,希望南唐的文章能够帮到你。
1 A U/ e; `, T7 C' b& {" ?. B X6 G本文出自:南唐的网站优化博客,地址:http://www.ba77.com/post/15.html,转载须注明!" o$ M0 g- u+ f8 U% B8 d
|