|
|
百度蜘蛛只爬网站的首页不爬内页，这是怎么回事？这个问题很多人都纠结的，特别是新站上线，久久不见收录量增加，更是心急火燎。. u- u' g3 ]% ?) l
3 Q. e8 T. t7 }) ^8 H首先解决一个问题，怎么知道“百度蜘蛛只爬网站首页不爬内页”？
5 v6 K/ B( f* `% S) M7 B% o7 s3 J1 u" ^
蜘蛛爬行情况可以通过网站IIS日志查看，日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。6 ]1 R+ S, Q$ a4 \7 }" c+ _9 R
4 d# b) s4 K6 M! S6 a2 t
神马？看不懂IIS日志？: `8 T2 ]% F0 ~' U+ r% ] h$ M
3 }; ]+ J: G# i$ ?7 \网上有很多IIS日志分析工具，百度一下。这里推荐使用光年IIS日志分析工具，快速易用。' ?, R4 K3 N0 z2 U' }6 O V t
" W( y; d! I3 d" t1 x8 s接下来，南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。
, E4 D/ P+ d- k0 ^0 V2 }# G& w% f$ \2 Y
“百度蜘蛛只爬网站的首页不爬内页”原因有如下：
( P2 x* i! }$ o' l# M6 W+ T+ A: H( m# U
1、robots.txt，错误操作，屏蔽了内页。8 o% s) y. g6 u0 Q
9 u1 q! G+ }* X0 ~+ E9 H
2、群发等作bi行为。
2 _% ~, j0 w: {: b/ N( K9 R- ^8 ]7 P! W5 l
3、服务器的原因。, j: W$ D% r: l: x- C
1 \! ^8 R* O, k7 v
4、网站首页到内页的链接太少，导航结构混乱，导航不清楚。& t9 v" G8 @; B" O2 E
- m; ]0 C% t# i, `- Q5、网站质量太烂，权重极低。
0 [' x# I1 m- O n1 t+ z$ L
$ {7 q9 [2 o: F6、网站维护的时候三天打鱼两天晒网。
+ ?' N) @) v+ D" w. ?" t. j x' Y! {4 P
7、网站超级新，新的一塌糊涂。8 h5 v" k+ y V5 u- D+ [/ j
B6 \$ i! I) V1 ?3 Z
8、网站还在百度的沙盒中，百度蜘蛛爬了，也抓取了，没有放页面快照。
& t1 D, g9 O# b' z. V
: Z5 }6 I" a, [% K: }/ O) y首页能够被百度蜘蛛爬行，说明网站并不是让蜘蛛不屑一顾。
( ?2 F- _# b+ d7 s% |4 P
. N5 z1 U0 W2 h# }0 d那肯定就是上面7条原因中的某一条或者N条，导致了“百度蜘蛛只爬网站的首页不爬内页”。% P# m3 L% p% x! L# E3 t
" f9 `; Q5 T ]6 ~; I
探讨到此完毕，最后的最后呢，针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因，我们一一击破。* L4 f0 L3 C( S# |2 a+ h* R
3 E# W: l3 ~2 x9 U/ x# i
1-8 依次检查网站，逐一排除，逐一解决。
9 Y* x9 M2 z9 @9 {( J- O4 Z' C/ k
/ | }( m: i+ ? L8大爆破方案如下：
* x" d; P$ l; J. D7 A8 w8 u$ C# w
& s" M ~7 u+ \; W破1、robots.txt的问题，浏览器输入，查看下，一目了然。
8 b: [' h& s: A; ~& b& }0 O2 Q% W$ W- h$ j7 r! V6 y' {+ S
破2、这个情况，作为网站的维护者最清楚。如果有群发的seo作bi手法，造成百度蜘蛛只爬网站的首页不爬内页”很常见。) e9 Q' D- b, p5 k1 Q
$ R2 m( x. n& g* {处理方法：+ g3 W3 S1 S; g( s5 d% R
. ~2 l4 J& g$ i9 I停止群发的一切seo作bi手法。
8 r1 U% e: _; I) Q2 i8 q
1 h1 W) T- g: O! n3 s有规律并且持续的更新网站内容，网站内容最好原创，次点也要是高质量的伪原创。3 d _; i0 ^7 q5 x6 j( |) y
+ v( _$ y$ H' h9 N$ F; U, _5 B适当的做点外链和友情链接，引引蜘蛛。
- P3 O9 D0 X0 c5 g3 F# V) e) j2 l( W |+ n0 F3 k2 c( i
这种情况只能淡定的坚持，等。
/ H) P) Q6 N: b7 g2 D9 b# d' ~
1 [$ `3 z5 a/ y& }4 Z! y* V" y破3、可以通过查询“网页http状态码 ”，分析网站返回的代码，判断问题原因。. Z ^6 z9 S5 u% Q. }8 F
! P% i! p) S: u! A8 @! l
还有一种情况，与你同IP服务器的网站被百度惩罚，从而牵连到你的网站。% k6 T, y4 ?9 D' I/ W
& n# E: e' i, D; K要么你还淡定的坚持，等。要么换服务器。
7 G: s& T! a1 G% F/ p$ z$ J3 V" v8 M+ S
破4、整理网站导航，理顺结构，让网站导航更清晰明了。7 F) N2 B: R" B7 B6 r
1 Q/ o+ E, \9 R# e- e) L调用文章标题到首页，增加一个“最新文章”、“文章推荐”等版块，增加内页入口。 r2 W" W' o( x" G+ e
7 a4 T! y0 k# R8 w. c
破5、站内文章垃圾得百度蜘蛛都懒得去爬，你还祈求蜘蛛爬完首页爬内页？
1 ?- E- l. A+ q9 v- c9 R1 e S5 D( j5 B- A, U9 Z
整理修改已经被百度收录的垃圾内容，清理未被收录的。" A8 e7 V8 b+ {0 X7 m6 X9 ]
; r2 Y# u: ~0 n# S1 {+ s然后坚持有质量、有数量的更新网站内容，同时做好站外链接工作。
c) k- N6 E! T: b5 z3 Y1 H( s2 ?3 l9 x, S% A; J5 \ B
破6、月初更新一篇，月末更新一篇，天天抱怨为什么“百度蜘蛛只爬网站的首页不爬内页”。; x% E! X# r# `4 _4 j
' H: }4 M# I9 H: i/ S! `
省省力气更新几篇文章吧。' Z! V! [! B: c2 A+ x, T5 y7 E+ O
4 Q) [8 q% d- S* |) R4 d百度蜘蛛像人一样，它本来是1天来一次，你网站没有更新。然后就2天来一次，你的网站依旧没有更新。然后的然后就是5、10、15。$ I9 z' m: Z) G# \
' S6 o* g# c( ~7 g7 ?
百度蜘蛛也有自己的行为习惯的，虽然它的智能很低级，也不能置之不理。
( k- s$ o/ E) O; [3 o4 e! A
2 c+ B& M0 a8 H: x/ ^' D破7、作为一个新站就低调点，别天天都纠结“百度蜘蛛只爬网站的首页不爬内页”的问题。
8 Q) S2 o$ m2 C" T/ D7 U8 u e1 R( T+ M
制定自己的网站优化方案，维护更新管理的网站，切忌使用任何作bi手法。
' E! T. e- y( b5 z7 @+ c7 U% ^ V8 P* {5 `7 I
破8、这个原因很难确定，如果以上原因你的网站都不存在，而你的网站也是“百度蜘蛛只爬网站的首页不爬内页”。. A4 Z+ R. G8 t
# ~, z+ G4 ]& ?3 K那么，就可能是还处在百度的沙盒之中。
2 m2 v( w. a& B
% b) v( R7 v, t/ u这是百度对新网站的考查期，或者是网站被惩罚后的观察期。
- A" P* a2 l1 d) T6 V: H' Y$ p+ T
淡定面对，积极执行已定的网站优化方案。
i1 n) U! E4 F {9 W0 {. F
) t1 r, t6 H$ r( r9 \今天就这么滴吧，希望南唐的文章能够帮到你。
) L1 {, }! K( E! h+ U
, P* m, F0 i/ V# _7 a
# v/ [0 A) e& }! B |
|
