|
|
百度蜘蛛只爬网站的首页不爬内页，这是怎么回事？这个问题很多人都纠结的，特别是新站上线，久久不见收录量增加，更是心急火燎。
6 \* m7 n, ^7 X) [ [0 [: ]4 {) W0 v
9 |" T: j. o+ O! u首先解决一个问题，怎么知道“百度蜘蛛只爬网站首页不爬内页”？
4 @8 [9 p+ N5 {& K( _' M4 J. C* g" M
蜘蛛爬行情况可以通过网站IIS日志查看，日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。8 O# ?) Y I& e
9 W. h3 w0 [3 V5 C
神马？看不懂IIS日志？
- m7 ?6 b4 M0 z) e" O( _4 Z3 u7 Y8 ]
网上有很多IIS日志分析工具，百度一下。这里推荐使用光年IIS日志分析工具，快速易用。
7 M; U9 z7 ?' y6 C" M+ T' Z) O& `9 [* g2 n2 |* T- z
接下来，南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。2 T* w* |+ A) ^( d3 D
- d3 b9 I( X! J# ~1 ~“百度蜘蛛只爬网站的首页不爬内页”原因有如下：
! ]# c% |# A0 d) c3 n
% e7 D5 U# g: n7 r$ q O9 {) g) C1、robots.txt，错误操作，屏蔽了内页。
' n$ @; f8 w( ?9 Y" V9 Z
( U, K- _* h* ^2、群发等作bi行为。
* }, o6 J& ]1 T8 J% r
: p& U$ O. v$ y1 u# Z3、服务器的原因。7 y5 ^4 C) [& {' \
7 J4 W" A$ j; z5 g( I$ l! s4、网站首页到内页的链接太少，导航结构混乱，导航不清楚。: _2 @. w/ ~4 n4 v! V
# R: C$ S9 M5 Z
5、网站质量太烂，权重极低。
/ p1 K2 M5 k N; b: f( G8 U, l' Z3 ]. K' ~, C. c
6、网站维护的时候三天打鱼两天晒网。- {/ x& h' r R1 N6 T D9 V
& I5 p3 i: W* n2 W7、网站超级新，新的一塌糊涂。
! I0 f- V5 d5 O4 X/ L
0 R) m' d' b$ S0 o8 C8、网站还在百度的沙盒中，百度蜘蛛爬了，也抓取了，没有放页面快照。' Q9 s+ w6 O; @* [5 p
# \+ h1 y' s. `& e& a
首页能够被百度蜘蛛爬行，说明网站并不是让蜘蛛不屑一顾。
! N( X* `/ _; z8 r" ?/ s
5 y, H2 u& ^2 V! r那肯定就是上面7条原因中的某一条或者N条，导致了“百度蜘蛛只爬网站的首页不爬内页”。2 K" n6 [' Z) o; m7 I* H1 Y# ^
4 f, C( A2 I; _
探讨到此完毕，最后的最后呢，针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因，我们一一击破。
+ a8 w y0 I2 d7 k
) x6 I! @- }" {9 ]5 G) i" U1-8 依次检查网站，逐一排除，逐一解决。% T" J# B) M' C) O5 N$ _8 P
. D* k& g9 m1 t ~8大爆破方案如下：
' [1 E: `% _( W9 X9 ]) K* c5 B0 i4 A0 Q/ ]2 w8 s
破1、robots.txt的问题，浏览器输入，查看下，一目了然。
4 I0 ~4 X: Z& M! p* L- W) d
: W1 u: c' w4 }# r) q( ~; w破2、这个情况，作为网站的维护者最清楚。如果有群发的seo作bi手法，造成百度蜘蛛只爬网站的首页不爬内页”很常见。% S* g C) ^6 P0 u* c
9 ^# l- t5 C* m处理方法：) `* a- i& E' g* k+ n+ G; h
; k6 H, k1 I% o
停止群发的一切seo作bi手法。
9 p: f. m6 {& x2 K% [7 J. K: [, d1 h, {, c3 t
有规律并且持续的更新网站内容，网站内容最好原创，次点也要是高质量的伪原创。3 E- j1 B. f6 L% V9 L3 w- }; R
: X: I! ~( p' s( l# ^" l
适当的做点外链和友情链接，引引蜘蛛。
2 t" ^+ q7 k& n7 O+ h! e; p# _7 ^! N0 A) P) l. c9 a
这种情况只能淡定的坚持，等。
6 Y( V4 O% Z' J& Q9 b! S" x; m' B8 b. x3 R
破3、可以通过查询“网页http状态码 ”，分析网站返回的代码，判断问题原因。2 z" u# E$ a/ J' X m+ g* p
" I# |( }5 \# m# t* j6 B" L还有一种情况，与你同IP服务器的网站被百度惩罚，从而牵连到你的网站。
% z( T: `; C; R: A9 R- |
6 e% D. W' I1 F0 s# j0 e# {要么你还淡定的坚持，等。要么换服务器。
/ @/ k" H# _; M# h: Q! L0 S3 n4 E. Y2 r' k+ `- d. T" j; F9 |; J% m3 w. |
破4、整理网站导航，理顺结构，让网站导航更清晰明了。
/ |2 L' C5 X0 ?5 ]; q7 W* y. S& u
调用文章标题到首页，增加一个“最新文章”、“文章推荐”等版块，增加内页入口。, F) s% X2 L* G+ g
% R+ t3 ~ x: z: x+ q
破5、站内文章垃圾得百度蜘蛛都懒得去爬，你还祈求蜘蛛爬完首页爬内页？
$ ^. d" b4 s% Z G! s% l( F+ G! Y* N& g+ l8 A: }% b$ b; g
整理修改已经被百度收录的垃圾内容，清理未被收录的。
. {8 c% p _1 N2 J0 T" Q7 Q9 s/ w
; `& U% \' v/ ?7 T& s然后坚持有质量、有数量的更新网站内容，同时做好站外链接工作。
" n; s" C. }1 p- t$ z+ Y% U; x/ t$ u' [) a+ [: _; U
破6、月初更新一篇，月末更新一篇，天天抱怨为什么“百度蜘蛛只爬网站的首页不爬内页”。. h( H" z) x' \# |. ?! J4 ]
" s4 p, I2 @! `
省省力气更新几篇文章吧。& Y3 q ^9 n& }! p
, n' T0 U; t/ x
百度蜘蛛像人一样，它本来是1天来一次，你网站没有更新。然后就2天来一次，你的网站依旧没有更新。然后的然后就是5、10、15。. r- [6 @8 Q7 |1 x- @
. E! U# j# a% f百度蜘蛛也有自己的行为习惯的，虽然它的智能很低级，也不能置之不理。' y# Q- P3 E7 O, a2 e" [& [7 Z2 W
- y" B% X) G" @
破7、作为一个新站就低调点，别天天都纠结“百度蜘蛛只爬网站的首页不爬内页”的问题。
7 b# @; B# \* H* n/ R/ e. N0 L% E D
制定自己的网站优化方案，维护更新管理的网站，切忌使用任何作bi手法。
; n4 ~- P+ G4 u. Q& s
- t3 b" A+ }. e* X( |4 Z破8、这个原因很难确定，如果以上原因你的网站都不存在，而你的网站也是“百度蜘蛛只爬网站的首页不爬内页”。
7 i. ~# J, U m; l0 C( J3 S3 _/ w8 P! y8 l$ B
那么，就可能是还处在百度的沙盒之中。7 q8 f4 `% l% i5 V7 c
0 v- Y( d1 s/ Z这是百度对新网站的考查期，或者是网站被惩罚后的观察期。8 H, J4 D% f7 w+ j) d9 \
. p) }. m, {# S4 M5 K( g3 F0 {% o淡定面对，积极执行已定的网站优化方案。9 I5 o: u- [; z- E, g- F
Q. M1 V) j7 {5 j今天就这么滴吧，希望南唐的文章能够帮到你。) w) p: u7 u) s4 I5 ^
; h- }3 E8 k+ k2 t6 F. `+ f, }, j
7 {2 p1 k, n7 U, a |
|
