|
|
百度蜘蛛只爬网站的首页不爬内页，这是怎么回事？这个问题很多人都纠结的，特别是新站上线，久久不见收录量增加，更是心急火燎。! O, r% Z* |$ p" u
7 ?2 B2 u; x; T4 x6 @
首先解决一个问题，怎么知道“百度蜘蛛只爬网站首页不爬内页”？
& `; n* L# Y1 |- J/ m% ~& b6 V$ h3 u) D( H% E; o
蜘蛛爬行情况可以通过网站IIS日志查看，日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。
% u. V& b( a6 F+ b
& V# q0 A: O* j2 `1 S神马？看不懂IIS日志？
' O5 G7 R4 A9 q1 b$ W5 Z( ]5 J# N0 J" W0 K. T
网上有很多IIS日志分析工具，百度一下。这里推荐使用光年IIS日志分析工具，快速易用。
& y1 |0 |4 r1 R0 u6 @. H
2 ]- ?' K7 \1 }* i8 u3 u接下来，南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。
8 B8 w1 g2 e' R4 d3 @8 k
" A3 B5 ^3 `$ o9 J8 L5 o3 a“百度蜘蛛只爬网站的首页不爬内页”原因有如下：
9 m/ S! B' Y& d+ x/ @+ r) N
4 P! m, r$ Y5 D, b1、robots.txt，错误操作，屏蔽了内页。5 i! ^" j- l' Q5 i4 ^
! U% R, p/ I- g8 k! }
2、群发等作bi行为。
# B( y/ _8 K8 }5 x/ p# B+ d" a P2 X5 {: k0 B! L
3、服务器的原因。5 b4 H* Q5 U) f1 i' f) F
" k; J; H9 |$ J% N' x c" N4、网站首页到内页的链接太少，导航结构混乱，导航不清楚。
" k, u" a8 v$ C& @' ^3 d8 P/ V4 i9 z8 m" e1 a3 W9 Z
5、网站质量太烂，权重极低。
/ u$ }3 \2 ^! C7 @+ O4 e v+ b- g# o
- X" l* p* {. Z' y6、网站维护的时候三天打鱼两天晒网。8 r) w. ^7 R$ _5 x6 T. q8 H; U& K% C
5 M ] i0 |3 T9 U3 p
7、网站超级新，新的一塌糊涂。+ A! Z1 S, V/ ^/ p! a+ u% g
: R3 R' B! _+ X1 s8、网站还在百度的沙盒中，百度蜘蛛爬了，也抓取了，没有放页面快照。
' o# c8 y$ J8 w. s$ N, ]
( u5 d0 J2 v F7 C( w8 A/ h9 w首页能够被百度蜘蛛爬行，说明网站并不是让蜘蛛不屑一顾。
! Z0 m) K& O9 ^$ s1 q- r* S# A7 E7 C
5 S3 o) H% r3 ?9 d; C( T, X# |那肯定就是上面7条原因中的某一条或者N条，导致了“百度蜘蛛只爬网站的首页不爬内页”。
# Z- v$ W7 H, s; y. U% E" K$ S! N0 }% H" M
探讨到此完毕，最后的最后呢，针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因，我们一一击破。
+ @. Q q0 l' g6 D7 U. v n& A* |$ D
1-8 依次检查网站，逐一排除，逐一解决。
! \, P- j, A# f; [0 |) B) X8 @* |- f8 X& d; n6 j
8大爆破方案如下：) B: B K3 D4 R+ _
$ |5 G$ U' {1 G' M
破1、robots.txt的问题，浏览器输入，查看下，一目了然。
/ U1 a8 W' h7 S. P3 V3 z; f! y3 T4 b& }+ i) D$ g& S4 d! ~ i
破2、这个情况，作为网站的维护者最清楚。如果有群发的seo作bi手法，造成百度蜘蛛只爬网站的首页不爬内页”很常见。
! o2 _7 v% E9 l' i# Z" [3 A9 k
% |7 s( Q, `5 a" r2 k处理方法：# i: X) l8 A1 F& E( W
- Q, D5 F( a0 c$ ^ z! i# o" t, X停止群发的一切seo作bi手法。
& k' z( A2 i t+ x" ^1 ?* M( w' w0 `# g9 D( t4 x& [
有规律并且持续的更新网站内容，网站内容最好原创，次点也要是高质量的伪原创。$ p) y6 `( p7 M+ I6 q! Y4 U* y
# y/ }. Z9 Y0 F. g3 L$ v/ |8 J适当的做点外链和友情链接，引引蜘蛛。
6 a8 c7 K' o1 e) E
K- S. |& Q! x1 ?这种情况只能淡定的坚持，等。
) r }% k( \! `7 z3 C/ \8 X: ^; J( s: G6 T# Y s
破3、可以通过查询“网页http状态码 ”，分析网站返回的代码，判断问题原因。
' l( K2 M7 E5 R" h [8 K/ k0 k- V" b* @" E; ~
还有一种情况，与你同IP服务器的网站被百度惩罚，从而牵连到你的网站。6 N- D T q' ~9 ~; g; s/ }
% z! b( ]3 j$ a2 j' ~
要么你还淡定的坚持，等。要么换服务器。
, G2 M Y. t3 W k0 S& R" t3 b7 A5 U3 C
破4、整理网站导航，理顺结构，让网站导航更清晰明了。
0 o% M# R+ {7 h8 J# |9 y' { W, L# S% E( j. ^
调用文章标题到首页，增加一个“最新文章”、“文章推荐”等版块，增加内页入口。
! G. a- t9 E3 \
g" E( L- o8 J4 M- @# k& `破5、站内文章垃圾得百度蜘蛛都懒得去爬，你还祈求蜘蛛爬完首页爬内页？6 d" S9 s! a8 u( U' j' M+ ?4 F5 e, c% J
! a1 s6 s6 H3 l8 B. v
整理修改已经被百度收录的垃圾内容，清理未被收录的。% L# \1 h+ j( U2 @+ W) h
# G9 b" {# W3 T4 v
然后坚持有质量、有数量的更新网站内容，同时做好站外链接工作。
# C% S, c) e" ?8 M& C* s. ~/ U$ q: v- C6 A* S2 V
破6、月初更新一篇，月末更新一篇，天天抱怨为什么“百度蜘蛛只爬网站的首页不爬内页”。
; G S7 v8 i/ T7 S5 _
5 Y! _9 S/ g0 U2 U5 }6 X0 i省省力气更新几篇文章吧。8 D# t2 H( ?0 [
l) s0 n, \3 J" u
百度蜘蛛像人一样，它本来是1天来一次，你网站没有更新。然后就2天来一次，你的网站依旧没有更新。然后的然后就是5、10、15。
2 k F$ ^' \1 L$ y2 e \9 }$ N, q
百度蜘蛛也有自己的行为习惯的，虽然它的智能很低级，也不能置之不理。/ W6 C7 F2 ?) n8 ~, G$ i d3 A: \7 j
; ^6 d C! Q( {" w
破7、作为一个新站就低调点，别天天都纠结“百度蜘蛛只爬网站的首页不爬内页”的问题。. P! B2 M% t' @ u9 ~
# p$ T4 ?1 J0 k- R制定自己的网站优化方案，维护更新管理的网站，切忌使用任何作bi手法。
( a; b7 d+ @; C
' ~( C; M" A/ l A) [6 E破8、这个原因很难确定，如果以上原因你的网站都不存在，而你的网站也是“百度蜘蛛只爬网站的首页不爬内页”。; [6 u) J) F8 a# R! M M
% a6 ` S/ L8 ] h
那么，就可能是还处在百度的沙盒之中。
6 H* y9 I& ?* w! G+ E( W" L
- D9 O6 ?# w' J5 C这是百度对新网站的考查期，或者是网站被惩罚后的观察期。# S8 T8 h3 |7 D! }
0 H6 d- j3 o# N7 h
淡定面对，积极执行已定的网站优化方案。 [8 K8 w) `# Q* d5 Q% \4 \
T! a& D+ c. C7 U: S
今天就这么滴吧，希望南唐的文章能够帮到你。& e! e: o1 Z# V8 y5 Y; G; w. Z
% J0 k ^; ]( @
/ {( l1 u% q/ ~& X: e |
|
