|
|
百度蜘蛛只爬网站的首页不爬内页，这是怎么回事？这个问题很多人都纠结的，特别是新站上线，久久不见收录量增加，更是心急火燎。' u$ f% b7 p5 w3 g% Z8 X& J8 W5 d
. h/ Q. K/ z( z0 h3 H首先解决一个问题，怎么知道“百度蜘蛛只爬网站首页不爬内页”？3 c4 j; Y1 {7 C/ H2 J
5 J0 A( n, t6 x0 K& A+ Q+ T蜘蛛爬行情况可以通过网站IIS日志查看，日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。- f% Q+ y/ A$ X* f+ c2 y% ?
Y. P) S+ i8 r8 x4 h神马？看不懂IIS日志？
8 o- S) _- I2 ^+ N$ k: k. }
# v* Q3 a+ k. H; p- R网上有很多IIS日志分析工具，百度一下。这里推荐使用光年IIS日志分析工具，快速易用。1 F" V- p4 r9 U# A4 Z( p0 C
/ k* ?7 O b. R1 F7 L# L7 O, A
接下来，南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。1 ~$ v" W6 A) @: \7 H2 p( _ G
$ v, B# i, |8 _( H5 x
“百度蜘蛛只爬网站的首页不爬内页”原因有如下：
% x) s* Y Q$ Z3 d; ~5 D, b/ Z; W9 e( Q* F R
1、robots.txt，错误操作，屏蔽了内页。
, ^% d7 `6 h/ K2 M3 J
. c0 w) X! B( J% `$ v2、群发等作bi行为。1 J9 }1 A/ K! h' r$ Z
% k$ @4 x, r5 q0 Q7 O6 R
3、服务器的原因。# \! [6 c4 @- |, w
, m' a; m( q, ~7 a- x" b0 z6 [4、网站首页到内页的链接太少，导航结构混乱，导航不清楚。
. o9 @: D3 }; m, s K7 e% u/ b4 Y5 [1 I5 C# {: P* h2 A
5、网站质量太烂，权重极低。/ `0 E! u7 V, J, ~
. V$ y) ^2 s4 ?5 D; ^4 R; N6、网站维护的时候三天打鱼两天晒网。( }; r) D/ V. @5 E! a
/ M! y- H+ ?; V$ I [
7、网站超级新，新的一塌糊涂。7 v; |6 e }8 W1 Y. t5 k7 k l
! |$ ~& _2 X; [$ W# a
8、网站还在百度的沙盒中，百度蜘蛛爬了，也抓取了，没有放页面快照。$ h; t5 {" ]! b f( b
: s/ v. W; G' W- o首页能够被百度蜘蛛爬行，说明网站并不是让蜘蛛不屑一顾。' n a5 ^) b) B
+ h! _: P: h6 f
那肯定就是上面7条原因中的某一条或者N条，导致了“百度蜘蛛只爬网站的首页不爬内页”。
6 h4 @, |8 X9 |2 q: ]) \$ v. }- H9 D$ `: E2 K. ~
探讨到此完毕，最后的最后呢，针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因，我们一一击破。
0 {4 C$ ^! h8 x. O. x g) q8 b3 A9 m, Q# R
1-8 依次检查网站，逐一排除，逐一解决。0 i/ M* i m% g! ^7 |
; N% m. h& N, k& T) p+ J ?
8大爆破方案如下：
& P; e/ L' ?2 ^( q/ L8 Z; [: X& r# f" r5 a
破1、robots.txt的问题，浏览器输入，查看下，一目了然。
3 O" F, m6 p( E- q1 P! }' R; W: h$ H: _: o4 c9 H- y& y) X& f2 o$ V
破2、这个情况，作为网站的维护者最清楚。如果有群发的seo作bi手法，造成百度蜘蛛只爬网站的首页不爬内页”很常见。
9 _6 n/ d1 [( f( h7 P5 w
* r! m2 r7 M# J' w6 |" p6 M处理方法：
8 d7 j( Y: }' z# i: l% J) k) X; E! X
停止群发的一切seo作bi手法。* P( Q+ h( L* Y! c5 {
2 c: @( O! i. [! C! v( O, R有规律并且持续的更新网站内容，网站内容最好原创，次点也要是高质量的伪原创。
9 J" h: ?$ C" B" |1 X
1 U- M2 T# T5 Y( Y适当的做点外链和友情链接，引引蜘蛛。
7 i2 g) M$ l$ c8 D; R- ]3 ]% E) c6 ^6 U0 v
这种情况只能淡定的坚持，等。1 C3 R# z. W8 p' K( _9 z
2 U3 m8 p. u) Q$ v9 f3 f- m1 |1 f9 O破3、可以通过查询“网页http状态码 ”，分析网站返回的代码，判断问题原因。
7 }$ ~ H7 v' C/ |6 O5 h: S# B" j
还有一种情况，与你同IP服务器的网站被百度惩罚，从而牵连到你的网站。
; e( ]: O% c, ~/ H, `- }1 r5 F( s* A: C1 i. j
要么你还淡定的坚持，等。要么换服务器。9 Q) \% i) d4 F
9 [- B" e2 r+ ^$ x$ P A; ~破4、整理网站导航，理顺结构，让网站导航更清晰明了。3 v- ]! u8 q K4 Y
6 ]1 P2 Y: X: }1 t5 ~) k调用文章标题到首页，增加一个“最新文章”、“文章推荐”等版块，增加内页入口。# S; L' s8 n/ t0 _0 o
) q7 ]3 E( G( S' C% z, P% | {
破5、站内文章垃圾得百度蜘蛛都懒得去爬，你还祈求蜘蛛爬完首页爬内页？* T) b8 _9 j& A7 j2 c' z, m
( t- d; j, ~/ ]) q2 o8 k8 \整理修改已经被百度收录的垃圾内容，清理未被收录的。
$ F \+ t9 K8 _, O i- T3 L# W3 Q: Q2 `& N% o2 [
然后坚持有质量、有数量的更新网站内容，同时做好站外链接工作。1 N5 Y$ ]0 u; D/ N! X3 b+ U9 E# k3 }* V
( Z7 D; b0 Z- s! z* B2 @/ k破6、月初更新一篇，月末更新一篇，天天抱怨为什么“百度蜘蛛只爬网站的首页不爬内页”。3 ^. H1 m$ O) \; `7 H4 M
+ I4 N/ ]0 |% ]+ C省省力气更新几篇文章吧。
$ ~8 e) Q5 o" n5 r9 w% R
) t2 I4 E# R7 t) o k6 w. T5 d! r9 p百度蜘蛛像人一样，它本来是1天来一次，你网站没有更新。然后就2天来一次，你的网站依旧没有更新。然后的然后就是5、10、15。: c$ S4 y% a, Z# F9 ?
" ~, S) V+ m/ }: C- T: z; O百度蜘蛛也有自己的行为习惯的，虽然它的智能很低级，也不能置之不理。/ {; R$ {8 f1 ~" f5 Q, Q2 x
+ L( s; @! f- {1 k6 w: U& F
破7、作为一个新站就低调点，别天天都纠结“百度蜘蛛只爬网站的首页不爬内页”的问题。
4 D1 j' C4 L# j& c$ u. H; F, R# Q; ~! I2 Q, Q% j( A: C7 C' k3 L A
制定自己的网站优化方案，维护更新管理的网站，切忌使用任何作bi手法。
; Q9 i0 A9 O) I8 d) ~
" }0 G& e7 l: S' m! q9 _破8、这个原因很难确定，如果以上原因你的网站都不存在，而你的网站也是“百度蜘蛛只爬网站的首页不爬内页”。& @# R; g b6 O |1 [3 W
5 D) ~! x1 F- _/ X$ ]( G那么，就可能是还处在百度的沙盒之中。) ?) [, i% I3 ]9 d* j9 `
) B. ?) U/ q0 U
这是百度对新网站的考查期，或者是网站被惩罚后的观察期。
2 E" Q3 k+ P" h6 o7 b5 g; Z4 r) p0 Z2 G+ a* N% f& W6 V, q
淡定面对，积极执行已定的网站优化方案。
: |" s4 [, n- a T. x0 [( Y [) |% \' w) c
今天就这么滴吧，希望南唐的文章能够帮到你。
: K: q8 t& B h3 y4 Z
2 A/ a8 M5 Y P0 `$ b
) F8 ?& _, r. `+ R0 l! b |
|
