|
|
百度蜘蛛只爬网站的首页不爬内页，这是怎么回事？这个问题很多人都纠结的，特别是新站上线，久久不见收录量增加，更是心急火燎。: N. m/ C+ J2 \* w- ]' B4 [
0 z' g" P( K, T+ G
首先解决一个问题，怎么知道“百度蜘蛛只爬网站首页不爬内页”？
& [6 W2 P8 V) e1 F0 H) ~& K/ c X6 ~" a% r$ c' h! l
蜘蛛爬行情况可以通过网站IIS日志查看，日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。
/ O. m6 y, G7 S& v1 ` l0 K$ A" X' A6 \* q4 e) B, K
神马？看不懂IIS日志？
6 h/ U) \0 ]' E& B2 k; u8 \* B" E' q" {$ j8 O5 x! \
网上有很多IIS日志分析工具，百度一下。这里推荐使用光年IIS日志分析工具，快速易用。, ] H; g- T/ l4 Q+ R+ \* m0 X) j5 n
) m. e; |0 o$ e. F+ x' p接下来，南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。3 B/ f& c1 j. R/ @6 Z5 G
2 ^* X5 j- l3 }1 g" N
“百度蜘蛛只爬网站的首页不爬内页”原因有如下：. A+ [( \9 F' p& R3 S3 [. B( y
! I7 o, ?8 b9 u2 [
1、robots.txt，错误操作，屏蔽了内页。. w) ~& M! x9 S$ M3 Y+ g& y' ]* n) p
7 F+ Q) c9 }' g$ t1 v
2、群发等作bi行为。
+ o2 v2 Y/ P- d6 `; G
2 b4 ~5 n+ P4 ]# j, @ M2 |3、服务器的原因。
) z* a& Y; J3 x' T: Q+ m. I' K' K8 m) P; M, p2 r8 W7 s, p2 X0 A; q2 v
4、网站首页到内页的链接太少，导航结构混乱，导航不清楚。( I: C6 m9 c, Y* d. w! g$ ~
: m% ]" D! H3 _% W8 T4 G: B' J5、网站质量太烂，权重极低。; N( v5 f- x6 T6 G& @4 l
. f& T7 I* B# M& U0 i- L6 v; O
6、网站维护的时候三天打鱼两天晒网。9 R7 `2 b5 ~0 f( e9 f
% X) [9 q+ N, \7、网站超级新，新的一塌糊涂。+ ~5 x- P1 K! T1 Q) g
2 Z" Q0 ?/ E4 U; y( E1 ~9 E, f( v8、网站还在百度的沙盒中，百度蜘蛛爬了，也抓取了，没有放页面快照。! H8 y: h% t, E) [9 R4 c- [
4 X/ ~/ C' D, p8 w I+ S6 W. u首页能够被百度蜘蛛爬行，说明网站并不是让蜘蛛不屑一顾。6 N, c, `7 n9 D( G# p/ o
' E0 u$ u/ A; [* u
那肯定就是上面7条原因中的某一条或者N条，导致了“百度蜘蛛只爬网站的首页不爬内页”。
& L/ A/ H/ f# R9 n* Z2 y( f& p+ o: p2 Z6 I8 O
探讨到此完毕，最后的最后呢，针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因，我们一一击破。
Z* D) |) C" l6 x
6 l5 f7 Z2 |& Q3 b, r; v3 [% h: E1-8 依次检查网站，逐一排除，逐一解决。
3 R1 E. ]. `- u/ }; T0 e8 Z
/ G. |! b G: M' r8大爆破方案如下：! {1 o" d+ u; H
1 n1 J' B% p* z% Z. B+ s破1、robots.txt的问题，浏览器输入，查看下，一目了然。! d6 {8 ]* f3 ~- d. a
: i5 W8 k' L- q$ B0 c) a& F
破2、这个情况，作为网站的维护者最清楚。如果有群发的seo作bi手法，造成百度蜘蛛只爬网站的首页不爬内页”很常见。
- @, l: @! i* a. Z$ f6 L' Q# l: V! e0 X9 X, v/ ~0 D
处理方法：* v# p% g! H* e% F0 J/ y
- i/ W( n0 |% ]/ q" u2 v停止群发的一切seo作bi手法。" z: X+ P0 G0 T# }
, M/ z4 C4 {+ v" f- E9 j& c$ u有规律并且持续的更新网站内容，网站内容最好原创，次点也要是高质量的伪原创。0 a4 V8 _% Z6 H9 b0 Q
& d! w2 z) R& D$ V% h2 ^( K# b, f适当的做点外链和友情链接，引引蜘蛛。4 t4 ^0 }: X1 K+ `' h k
" |4 T0 D, `- t: q8 J! R这种情况只能淡定的坚持，等。
1 V, n: s7 J t) Y6 |
7 u* L! L' r. ]. ^: V' R破3、可以通过查询“网页http状态码 ”，分析网站返回的代码，判断问题原因。
' m6 o2 \# i; @% g7 [
. v: o2 u2 m4 |* Y( }' ?还有一种情况，与你同IP服务器的网站被百度惩罚，从而牵连到你的网站。* | @% g5 H5 Z, Y" Z
) L: @4 H8 ^! W0 K. M要么你还淡定的坚持，等。要么换服务器。
/ x& C9 A }2 n8 }4 V1 [6 y: f, [. Z, W3 V
破4、整理网站导航，理顺结构，让网站导航更清晰明了。8 v% h9 L2 E: |+ x' N
, z/ i _* A% Q6 O6 S8 L9 j( l5 S调用文章标题到首页，增加一个“最新文章”、“文章推荐”等版块，增加内页入口。+ b* V. j# N1 Y/ r" ]
0 d% o& G& E- P% x$ }: e
破5、站内文章垃圾得百度蜘蛛都懒得去爬，你还祈求蜘蛛爬完首页爬内页？* P2 l% h% I6 w
5 Q0 u1 X' V; d1 z) M
整理修改已经被百度收录的垃圾内容，清理未被收录的。
; H% r& k% e! c" J& F# }
, j% [7 ]- n& _# r I然后坚持有质量、有数量的更新网站内容，同时做好站外链接工作。6 T( S3 I* b; R: P) |/ a
0 U! I% \' ~; w$ ?
破6、月初更新一篇，月末更新一篇，天天抱怨为什么“百度蜘蛛只爬网站的首页不爬内页”。
( g9 \) ]# z: E2 J8 H( O2 [! c* b4 t9 L1 J/ C" b$ _: b
省省力气更新几篇文章吧。; g6 v6 t6 k4 [9 F; E8 g3 d7 }
( b& t$ R* `3 m0 ]5 ^
百度蜘蛛像人一样，它本来是1天来一次，你网站没有更新。然后就2天来一次，你的网站依旧没有更新。然后的然后就是5、10、15。8 j2 R! K& R6 I9 f4 ?3 G
4 c: ~, ^, W$ b
百度蜘蛛也有自己的行为习惯的，虽然它的智能很低级，也不能置之不理。
. C1 Z/ G$ H" D" C
1 X8 h4 X! G3 {: d( j4 z$ D破7、作为一个新站就低调点，别天天都纠结“百度蜘蛛只爬网站的首页不爬内页”的问题。9 \ o, c/ W# P7 K1 |* B% q- y
9 ~1 L3 o1 o) a. J( |
制定自己的网站优化方案，维护更新管理的网站，切忌使用任何作bi手法。4 t4 \7 t8 x; }$ s8 k! k/ k
6 x! `) c: _- I, T* d. B, Y+ h
破8、这个原因很难确定，如果以上原因你的网站都不存在，而你的网站也是“百度蜘蛛只爬网站的首页不爬内页”。- |9 L" V: v4 U" ]
, e& j4 a; m( j6 y3 F' [% X
那么，就可能是还处在百度的沙盒之中。
* s, c2 C" K: K& H# {& ?3 o% c; {. F# p" w( T
这是百度对新网站的考查期，或者是网站被惩罚后的观察期。
" n, U& G. d. L a$ s" P' k# i# P' z% W, m( `
淡定面对，积极执行已定的网站优化方案。- L* r/ i7 I1 r8 L
) ] I2 \ G( ]今天就这么滴吧，希望南唐的文章能够帮到你。
' h, S6 [& I, |% U) X, {
3 E6 E4 n& T' v' Z1 B+ i$ E4 x0 K( s0 G+ d
|
|
