|
|
百度蜘蛛只爬网站的首页不爬内页，这是怎么回事？这个问题很多人都纠结的，特别是新站上线，久久不见收录量增加，更是心急火燎。* o: N8 l! Z. h3 s+ t
5 {8 Y) d4 W- \2 R
首先解决一个问题，怎么知道“百度蜘蛛只爬网站首页不爬内页”？5 Y7 s. j1 B3 M
2 @0 m: o. `& j+ U
蜘蛛爬行情况可以通过网站IIS日志查看，日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。
4 A. i% u3 [+ g9 w1 W
+ B( W1 J4 Y* h神马？看不懂IIS日志？
( \5 R& u- J, {; Z k- v) x4 P7 T5 d" I1 _
网上有很多IIS日志分析工具，百度一下。这里推荐使用光年IIS日志分析工具，快速易用。; T; V+ t* L4 I, \6 g) _
7 f N% K/ a& e4 a% \
接下来，南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。3 X% S3 N# w3 I5 F) U7 I
" e- q4 I" d% [8 e3 o+ Q“百度蜘蛛只爬网站的首页不爬内页”原因有如下： N S. z8 r, a, l' D
, t2 o% ~" w( _( Q; V1、robots.txt，错误操作，屏蔽了内页。- l% A" n: x, c* ?) r8 o1 w
/ K; K* T( a4 z1 A2、群发等作bi行为。
) J1 o) X- m) w0 @0 E% ?/ T' f* D; V, H; _2 V" K) x) U: ~6 ^' A9 A8 Q- R
3、服务器的原因。/ k- `4 o2 ^. e( @$ I* B4 r o
' o+ G) Y+ \+ d4 o- P/ ]8 H4、网站首页到内页的链接太少，导航结构混乱，导航不清楚。. k$ m* B' M' ?$ I i
, D: r y# f5 D: J5、网站质量太烂，权重极低。
$ \" A+ J w" U. T1 g( d% r! |/ @8 l$ @3 t5 l" ~7 @
6、网站维护的时候三天打鱼两天晒网。
$ s9 |0 a o {# n3 w8 h
3 f. X! G" H7 M- L7、网站超级新，新的一塌糊涂。' e! J% Q L/ @1 H d& A$ s( c
; ~* O4 s) b( i W2 k# w
8、网站还在百度的沙盒中，百度蜘蛛爬了，也抓取了，没有放页面快照。0 l/ ^ B8 }& g8 H# P
' o, L% c( ^4 j! K" ]; k2 ?, E
首页能够被百度蜘蛛爬行，说明网站并不是让蜘蛛不屑一顾。1 ~9 U% L& u. e# `8 \
# m# k9 f! W5 [+ [( L7 I* p9 G
那肯定就是上面7条原因中的某一条或者N条，导致了“百度蜘蛛只爬网站的首页不爬内页”。" M7 ?/ ?0 ^0 n, f- O1 {
, F* M, I' U. A$ g
探讨到此完毕，最后的最后呢，针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因，我们一一击破。
2 E% }; z i3 q8 o
h0 X$ o$ l" e; l \1 P/ ?6 M0 U1-8 依次检查网站，逐一排除，逐一解决。3 N. f* X$ D$ ]2 A
* n! c2 U2 S+ S& b* @$ Q8大爆破方案如下：5 n K, Z/ v8 j% w, U, y3 G8 U% g' ~
& B5 Z0 |4 O6 C- w9 P破1、robots.txt的问题，浏览器输入，查看下，一目了然。4 d8 y" r% \' D: g# d* D8 A; k
# i8 L. k) t; w3 c3 [, P
破2、这个情况，作为网站的维护者最清楚。如果有群发的seo作bi手法，造成百度蜘蛛只爬网站的首页不爬内页”很常见。
; N, u b3 |! `, t8 Z
' Q% Z+ B: A8 a7 q! _处理方法：* }! c& x# a3 D7 {
$ o2 r7 ]2 v p8 A
停止群发的一切seo作bi手法。
X) q1 Z3 m6 U( m# d( B
- L+ e3 y O8 c3 F' U3 ~有规律并且持续的更新网站内容，网站内容最好原创，次点也要是高质量的伪原创。
2 K8 }, O/ X* z
( O0 {0 G. E E' q8 Q6 G6 d适当的做点外链和友情链接，引引蜘蛛。
. B9 h/ i" }2 A6 ^/ x4 k- X1 B2 C( U: f" n$ k1 Y7 B, D) f! O; F
这种情况只能淡定的坚持，等。7 s/ B! b8 V! ~7 _, A
) J' \6 M7 k* V! _% c
破3、可以通过查询“网页http状态码 ”，分析网站返回的代码，判断问题原因。* {0 D+ g5 |% b, F8 N
! T: e( T' q) f
还有一种情况，与你同IP服务器的网站被百度惩罚，从而牵连到你的网站。
/ O; y2 {( e' Y; a( f- }+ d$ e8 n+ a* i3 f+ G% t H$ B
要么你还淡定的坚持，等。要么换服务器。
, c" ]4 d1 l% N) J
+ K6 n; V' L9 i# o/ `; p破4、整理网站导航，理顺结构，让网站导航更清晰明了。+ k0 T* K2 ?; ~. Q3 \" m
$ r* c4 Y- B2 j. R/ n调用文章标题到首页，增加一个“最新文章”、“文章推荐”等版块，增加内页入口。
3 s5 L; g6 m/ P0 p9 X8 a0 ?/ f6 G6 J( X! y; H
破5、站内文章垃圾得百度蜘蛛都懒得去爬，你还祈求蜘蛛爬完首页爬内页？# G% m) ^$ h% f/ s; u5 R5 ^' ^9 k
& R+ o3 D" u/ y3 _& `
整理修改已经被百度收录的垃圾内容，清理未被收录的。
1 }" v& Y1 d0 x
5 o, Y" T/ Q, Q0 t0 e然后坚持有质量、有数量的更新网站内容，同时做好站外链接工作。
' b" G/ _$ L5 o3 ?+ Z8 |5 z) \: ^! |- I
破6、月初更新一篇，月末更新一篇，天天抱怨为什么“百度蜘蛛只爬网站的首页不爬内页”。6 |# Q. h3 `* l8 q
& `3 l' X# D9 t3 V% i7 z
省省力气更新几篇文章吧。* A: Y, M: J7 a& U U% G @
) x, v+ p% P9 [3 m8 n百度蜘蛛像人一样，它本来是1天来一次，你网站没有更新。然后就2天来一次，你的网站依旧没有更新。然后的然后就是5、10、15。' C( X' x0 l, d# V
% v3 P q. Y# H! o. F
百度蜘蛛也有自己的行为习惯的，虽然它的智能很低级，也不能置之不理。
8 S9 ]- N! ]1 e" J: A0 M. z0 I# l5 ^! i5 g9 L2 y1 L. b5 z3 y
破7、作为一个新站就低调点，别天天都纠结“百度蜘蛛只爬网站的首页不爬内页”的问题。
0 k) {: X1 U' W" U- G9 n! P: ^% Z! C5 q( R
制定自己的网站优化方案，维护更新管理的网站，切忌使用任何作bi手法。
, B5 _( n$ d! G* v9 P1 D& X. p9 j8 Z) h1 d: |6 e4 m# [) R
破8、这个原因很难确定，如果以上原因你的网站都不存在，而你的网站也是“百度蜘蛛只爬网站的首页不爬内页”。
) F4 d, W0 h! w2 H8 I! @, [7 c2 Y9 j" ~5 S* N0 ^( t1 z
那么，就可能是还处在百度的沙盒之中。8 G+ g% L: M! w/ S4 \
& |1 C5 |! U7 k; @3 {, Y' w8 p4 y
这是百度对新网站的考查期，或者是网站被惩罚后的观察期。: q) J; M8 X4 `* W2 k
0 e' b8 i. J4 }% _; A. n# {淡定面对，积极执行已定的网站优化方案。9 W! M! s/ n) x& Z k1 R. a
8 w5 q& X8 C5 S# `; o+ y今天就这么滴吧，希望南唐的文章能够帮到你。
9 S6 x* C5 c4 j+ r& p0 E3 k6 ?( ^" ^2 P7 b4 M- _
" O- D9 J( \3 t' r9 ^5 E |
|
