|
|
百度蜘蛛只爬网站的首页不爬内页，这是怎么回事？这个问题很多人都纠结的，特别是新站上线，久久不见收录量增加，更是心急火燎。1 H: a2 X [# s- h5 E5 f
6 e3 j# t" S7 A2 j3 K* u8 J首先解决一个问题，怎么知道“百度蜘蛛只爬网站首页不爬内页”？
. u/ M3 ^! l& S" ^$ [
9 E) k) {) a+ t O8 ?- B5 B' C& m蜘蛛爬行情况可以通过网站IIS日志查看，日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。4 s4 a1 @0 `& m
, b# Z" [. E: P
神马？看不懂IIS日志？
9 G0 F+ D) t& Z1 G
) s3 D3 R2 k/ Q2 z网上有很多IIS日志分析工具，百度一下。这里推荐使用光年IIS日志分析工具，快速易用。
4 R2 N3 l9 t5 y# f4 T* K3 ^* n, {: @3 |5 O
接下来，南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。" \4 N' z8 N" C. N$ l. Y4 j
" Q2 h; A+ E$ |- G+ B C) v“百度蜘蛛只爬网站的首页不爬内页”原因有如下：* x2 Q* g' Y( Q% d* E% X, T, Z
; n0 Y+ R8 B B* y2 ]5 @1 e1、robots.txt，错误操作，屏蔽了内页。9 [; F3 N4 _- D! o& s
w5 c( ~2 S" o t- g4 U/ z2、群发等作bi行为。
% z5 E" D, N9 \4 C$ ^+ ^
1 ~: W* }2 g" w+ E5 k3、服务器的原因。
% V8 N* n& c) _# i9 B! H1 _7 f* r1 g
4、网站首页到内页的链接太少，导航结构混乱，导航不清楚。
% f% B3 n5 x9 l, w3 J) z/ `5 Q Y; {4 m f% F
5、网站质量太烂，权重极低。
, B, v" i: L# E0 ^8 [6 [$ M4 j3 E; h+ d, B
6、网站维护的时候三天打鱼两天晒网。5 k# p, z) C+ m1 x! }# M
* n" M/ p: H, }
7、网站超级新，新的一塌糊涂。
: L5 z/ Q- l( _ z0 k' a
* p$ {2 _# ]4 z) N- k$ @8 t8、网站还在百度的沙盒中，百度蜘蛛爬了，也抓取了，没有放页面快照。
2 G5 X) b, H9 {" @& S: L- y: z% U
0 M! B& F3 Z2 D9 M$ E& l& i/ L首页能够被百度蜘蛛爬行，说明网站并不是让蜘蛛不屑一顾。2 R4 g% m* j& P( ?, u
5 c& s2 y- `4 P0 ]2 S; F' X那肯定就是上面7条原因中的某一条或者N条，导致了“百度蜘蛛只爬网站的首页不爬内页”。, J2 p' M3 e7 @. r
( Z: z" I0 z d
探讨到此完毕，最后的最后呢，针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因，我们一一击破。' `" g( I$ P0 \- l, f
; P( O9 B3 ~7 V1 ?9 x3 {
1-8 依次检查网站，逐一排除，逐一解决。
5 m4 ]' C0 o: y n1 Q! X/ c, c7 J0 o/ v+ i. ~( h N7 b
8大爆破方案如下：
2 E: g+ h1 ~, Q0 Y, V9 g8 C/ Y. [( \9 ], f( Q* J5 u
破1、robots.txt的问题，浏览器输入，查看下，一目了然。
" E7 ?7 _; o' R, m1 d
) K1 `+ s# R8 p8 @ h破2、这个情况，作为网站的维护者最清楚。如果有群发的seo作bi手法，造成百度蜘蛛只爬网站的首页不爬内页”很常见。
. z2 `8 W0 a; k6 N) Q
, y5 _" D$ ~3 L' T- K- J处理方法：
( k8 R7 x' f e6 i! l8 `0 M. ~
* M( f% a6 J6 O( J. y停止群发的一切seo作bi手法。- n- a3 Z V! |! F
; w. D, I% Z2 X* F: X/ n# s有规律并且持续的更新网站内容，网站内容最好原创，次点也要是高质量的伪原创。- B/ _+ _- ?; S/ G% e( f
! D- x! h7 B* X3 k适当的做点外链和友情链接，引引蜘蛛。
5 _, |8 m! l3 V- b# i4 D+ O* G! [# t' w& i
这种情况只能淡定的坚持，等。. l* E" M a: ^: J
W4 F7 ` m, _- I
破3、可以通过查询“网页http状态码 ”，分析网站返回的代码，判断问题原因。
( J% ^0 ^" H- M) H6 c) P8 J" _" t4 h* @9 h6 n
还有一种情况，与你同IP服务器的网站被百度惩罚，从而牵连到你的网站。
" X; n% R- _' _* d, b' \
e# a" q' i' |! A4 E4 o8 D7 f; K要么你还淡定的坚持，等。要么换服务器。4 `6 K5 C* g g% f" U; {0 c; h
2 [3 g+ p7 i* T. `
破4、整理网站导航，理顺结构，让网站导航更清晰明了。
0 h! K1 R! P* A
+ w% P0 }0 j0 x3 Y) t" g6 q$ [6 M调用文章标题到首页，增加一个“最新文章”、“文章推荐”等版块，增加内页入口。, a- B/ q1 H& f
* X7 T! ]. J# Q1 p3 @- N4 ]: Q破5、站内文章垃圾得百度蜘蛛都懒得去爬，你还祈求蜘蛛爬完首页爬内页？
. [8 s: j5 u) R5 s$ U1 u, c* X* b) ?; H7 r. e# a2 c
整理修改已经被百度收录的垃圾内容，清理未被收录的。5 C8 W4 Z' k6 o+ M
8 L1 p6 {& Z+ u: b! C. V$ Y) {
然后坚持有质量、有数量的更新网站内容，同时做好站外链接工作。, R0 N" D; G$ k9 B C2 l
5 K! o, s4 ^# q3 ], X
破6、月初更新一篇，月末更新一篇，天天抱怨为什么“百度蜘蛛只爬网站的首页不爬内页”。
% ^+ W) S$ {" u' m9 g% x4 S- O8 v; ]$ f, w r5 b% X' o
省省力气更新几篇文章吧。
3 {$ r* Z+ r2 F7 M- j
& w8 Y8 V0 p+ Y百度蜘蛛像人一样，它本来是1天来一次，你网站没有更新。然后就2天来一次，你的网站依旧没有更新。然后的然后就是5、10、15。( e" I8 i+ C! ?1 n. w, u
6 d# n* a9 ~6 F# h百度蜘蛛也有自己的行为习惯的，虽然它的智能很低级，也不能置之不理。2 y1 N& D+ a0 m+ D- Z- {) R
9 B, J0 H% z; a1 S% c, b破7、作为一个新站就低调点，别天天都纠结“百度蜘蛛只爬网站的首页不爬内页”的问题。
+ L0 F6 E; O" o# U+ K$ x) H! g% s7 R3 s& D9 i0 ^
制定自己的网站优化方案，维护更新管理的网站，切忌使用任何作bi手法。
9 G) o$ W4 r5 Q+ K* Y3 F+ H) D+ L9 p
破8、这个原因很难确定，如果以上原因你的网站都不存在，而你的网站也是“百度蜘蛛只爬网站的首页不爬内页”。
) P/ @9 l9 E# X
: F' |4 }. |7 z; x( l5 d/ p3 V: H那么，就可能是还处在百度的沙盒之中。9 U7 f) I! J1 `! \4 y
: U M; R" F/ ^5 z8 n% \' H
这是百度对新网站的考查期，或者是网站被惩罚后的观察期。) v# b" Q# Q1 g9 r% X
. b- `# {) `; R l: Q- I
淡定面对，积极执行已定的网站优化方案。
: B' H Z7 \; o7 V+ e
8 N# p/ N6 b& C# @1 E8 Z今天就这么滴吧，希望南唐的文章能够帮到你。
) D4 o* P4 O' D+ H0 T2 x# L
, m9 ~' K p, X/ U) o4 u1 Q
0 Z k- r3 Z$ f- ?: U |
|
