|
|
百度蜘蛛只爬网站的首页不爬内页，这是怎么回事？这个问题很多人都纠结的，特别是新站上线，久久不见收录量增加，更是心急火燎。: ]% Y) ~1 a0 l5 }- E. r
: z2 U8 E3 S: ?4 t7 @
首先解决一个问题，怎么知道“百度蜘蛛只爬网站首页不爬内页”？& l! @, m0 n/ f1 ]* ?
I2 t; R4 Y& c$ q7 V) O
蜘蛛爬行情况可以通过网站IIS日志查看，日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。" W" S* K) N+ I
0 b9 @& B7 i% ]神马？看不懂IIS日志？
. k+ N, [+ ]$ C. M; N" ~, Z) q k
网上有很多IIS日志分析工具，百度一下。这里推荐使用光年IIS日志分析工具，快速易用。- I* b( s; W7 K T* @
1 K0 q/ u1 d. L* G: ~
接下来，南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。
: j/ W0 r1 v, O6 a
! W6 ~4 ]* _2 A“百度蜘蛛只爬网站的首页不爬内页”原因有如下：
9 [* V S/ V0 k4 V
/ k9 Y- _& |" d- x. q( I1、robots.txt，错误操作，屏蔽了内页。
* v) B5 t. q0 I. w
& S- h1 r9 E9 I" B5 V- a* d2、群发等作bi行为。, j+ k" P1 b" N3 ^ K
% w) o: `$ j$ Q8 c
3、服务器的原因。# i5 h* ~8 c. N0 N# u2 }6 ~4 b
* c: I0 q5 @2 Y! ?, ~9 b4、网站首页到内页的链接太少，导航结构混乱，导航不清楚。
3 X& e- e$ X* d; C0 R5 |; K7 j9 p6 H0 ]1 ` z4 Z
5、网站质量太烂，权重极低。. j- f- o1 E8 K( Q; S
3 m0 @" ?# z5 T _, _
6、网站维护的时候三天打鱼两天晒网。* _: N; ~3 m# o" e
6 S" D# {( t) I" p7、网站超级新，新的一塌糊涂。$ J2 j" [! I' s
6 R0 ^6 n5 r6 Q/ g7 j8、网站还在百度的沙盒中，百度蜘蛛爬了，也抓取了，没有放页面快照。
7 Z# a$ [4 ]0 b1 u& z" D' R. Y' b f3 J- H& Q3 I. C
首页能够被百度蜘蛛爬行，说明网站并不是让蜘蛛不屑一顾。
& N, Y; U7 e5 Y! _2 Q" z
+ C. L* d% {8 s那肯定就是上面7条原因中的某一条或者N条，导致了“百度蜘蛛只爬网站的首页不爬内页”。# \- i4 T, s5 I/ x/ u
8 s5 l. B( b4 x) D) ]' N) p
探讨到此完毕，最后的最后呢，针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因，我们一一击破。/ |) }8 ?5 d% y+ a& J- C3 ~+ X# r
( F, j- w" b2 P1-8 依次检查网站，逐一排除，逐一解决。
# {6 ?2 m$ \% K y: o7 ?
9 G3 n5 Z" p& y1 q: d8大爆破方案如下：
! F$ I$ w9 @, G X7 F
, l, U# k+ E7 ` O6 ]& B4 ]) a破1、robots.txt的问题，浏览器输入，查看下，一目了然。
, Z0 x: ~7 {: F* s4 _/ r. z0 Z' g
1 c) Q# C! a. z+ ?5 u( [0 U破2、这个情况，作为网站的维护者最清楚。如果有群发的seo作bi手法，造成百度蜘蛛只爬网站的首页不爬内页”很常见。
; I# T- ~! F C2 x. D* R8 h3 z# O' k
- P* V# Z7 |$ d9 H" F处理方法：7 A. r3 C, c. t* j9 L# L/ O: }! c
0 B6 h4 i3 p$ B
停止群发的一切seo作bi手法。+ f5 _2 y, E$ H" `; G, ]
9 U0 V4 @8 { _1 Y9 Y有规律并且持续的更新网站内容，网站内容最好原创，次点也要是高质量的伪原创。
7 h% V0 m) p# g P- d8 q! w1 r$ r* [9 x- D4 J, N
适当的做点外链和友情链接，引引蜘蛛。! c3 } X, B3 O
: J0 X o: q6 I t' d+ f
这种情况只能淡定的坚持，等。
6 z( C, P7 {" w4 Y) t/ g' m) [6 {- `
破3、可以通过查询“网页http状态码 ”，分析网站返回的代码，判断问题原因。
0 N8 b8 q) A0 f( K9 w# ?; v7 ?7 a! }# \' r6 p( |
还有一种情况，与你同IP服务器的网站被百度惩罚，从而牵连到你的网站。 x. R& R* C) p. e
' A& o: M1 v4 |5 R0 j/ N
要么你还淡定的坚持，等。要么换服务器。
9 g# M5 b' e0 t1 ]
# @3 y3 ^0 u/ s, Z$ z9 B) t破4、整理网站导航，理顺结构，让网站导航更清晰明了。: P% ^3 |$ `! E. F' J
2 k% q, E- c2 q) f调用文章标题到首页，增加一个“最新文章”、“文章推荐”等版块，增加内页入口。) k, @! b8 R" J
7 `0 x3 m/ o* y8 b7 B破5、站内文章垃圾得百度蜘蛛都懒得去爬，你还祈求蜘蛛爬完首页爬内页？
N9 d, j+ c% }4 J! P' |, }- {
整理修改已经被百度收录的垃圾内容，清理未被收录的。% X+ I: N5 b& I9 Z' F. p
% U1 @+ z2 C8 i! D
然后坚持有质量、有数量的更新网站内容，同时做好站外链接工作。
3 Y. w; Q3 f/ j: `. X% k+ j* y U, H2 [
) I9 ], `9 o( `, ?- h, ~破6、月初更新一篇，月末更新一篇，天天抱怨为什么“百度蜘蛛只爬网站的首页不爬内页”。
: u) Z6 G. @6 }1 g
6 E2 h# B1 B6 O8 v& C& { Y省省力气更新几篇文章吧。$ Z! V; f1 y6 K) m6 S
4 w% D3 J2 N( w2 `" L+ j
百度蜘蛛像人一样，它本来是1天来一次，你网站没有更新。然后就2天来一次，你的网站依旧没有更新。然后的然后就是5、10、15。
- a7 F5 _3 {& w6 ?( l9 i" |4 } n; O+ q) P
百度蜘蛛也有自己的行为习惯的，虽然它的智能很低级，也不能置之不理。8 @# v1 n: G w" t
n% |! ~; X% [' e2 Q* ~破7、作为一个新站就低调点，别天天都纠结“百度蜘蛛只爬网站的首页不爬内页”的问题。" U" o, }% {% h) B( N! v* `
Y" B% D" k0 h+ I" C制定自己的网站优化方案，维护更新管理的网站，切忌使用任何作bi手法。
, L1 ]$ J$ i0 z3 n/ f
7 q( X+ j, Z. t9 s/ }- u破8、这个原因很难确定，如果以上原因你的网站都不存在，而你的网站也是“百度蜘蛛只爬网站的首页不爬内页”。. c. K! B. I1 B! N& g
& T* y% k1 }, v2 V( B$ @
那么，就可能是还处在百度的沙盒之中。
5 P( L/ ~* x& f7 M* G% t* O6 o. k/ H& o
这是百度对新网站的考查期，或者是网站被惩罚后的观察期。$ S/ C9 u* M* u' T3 ]
0 t* ^' R5 y6 C
淡定面对，积极执行已定的网站优化方案。
3 G- h6 o- f5 a3 t- Z# B E* ^4 ]% o4 S- {0 @% L' \) h: i1 z" M( |6 l' w
今天就这么滴吧，希望南唐的文章能够帮到你。+ c/ V8 b' b, H. Y
0 {% s! w+ h! `
& ?% a0 w; F5 q: i) ~4 L& q |
|
