|
|
百度蜘蛛只爬网站的首页不爬内页，这是怎么回事？这个问题很多人都纠结的，特别是新站上线，久久不见收录量增加，更是心急火燎。; {; ^4 \0 m8 v! |4 @5 u8 j3 P
+ z; p1 r! L& T4 W1 K) o首先解决一个问题，怎么知道“百度蜘蛛只爬网站首页不爬内页”？
& [, P* l* M1 |4 Q( D4 B& O3 R6 `5 i
% E, h* j M- ~1 Y% Y8 ~" E* N1 z+ m蜘蛛爬行情况可以通过网站IIS日志查看，日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。
8 [: ^. g# J0 S# B5 B1 s& @' u9 I: w
( W8 @8 i/ e- z神马？看不懂IIS日志？. |* z$ u, {1 X' R* L
0 t& r- C7 U& ~网上有很多IIS日志分析工具，百度一下。这里推荐使用光年IIS日志分析工具，快速易用。
; r, \8 F+ N3 |! P
) D- V3 Y( D8 d' Z3 u" M2 }. z接下来，南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。
6 Y o2 u, `/ m1 l L( W8 X6 g/ g& E2 h! C9 w& B
“百度蜘蛛只爬网站的首页不爬内页”原因有如下：
% T% o) K5 b7 G" ?3 E3 s7 D7 V
8 r9 V* ?: n2 C9 T0 j4 c# L) Y) K) K1、robots.txt，错误操作，屏蔽了内页。
; q% E$ Z! u* W/ E/ W9 _& Q/ X" [% r
2、群发等作bi行为。/ a" K$ [; Q- O5 @! Y# A: k% I% Z
5 ?6 V2 K) R* N4 D" ^ K: z: S
3、服务器的原因。- Q* N4 {% ^, O$ b$ w
. E" @& @# n8 [( G6 k/ a( [% J
4、网站首页到内页的链接太少，导航结构混乱，导航不清楚。6 H: |* M1 a' h. h7 [; U
' x1 C3 [1 U; C' C0 E: x5、网站质量太烂，权重极低。9 n; x8 d8 x9 V+ M
" }8 B: K1 Q# d
6、网站维护的时候三天打鱼两天晒网。2 {7 I: l3 p/ q9 _$ z& C: t
( J) P J% v6 L$ H7、网站超级新，新的一塌糊涂。
/ _2 m7 p% y H5 }( D% `
& I. f* [4 Z: d0 F8、网站还在百度的沙盒中，百度蜘蛛爬了，也抓取了，没有放页面快照。
* H# C# C* v8 Z# X6 x# [1 q. c0 v6 M
首页能够被百度蜘蛛爬行，说明网站并不是让蜘蛛不屑一顾。5 Q# x" z \! E( G) m5 W' d
2 `5 G) Q; E6 @' \% u那肯定就是上面7条原因中的某一条或者N条，导致了“百度蜘蛛只爬网站的首页不爬内页”。! s/ H; Y7 n+ D, Z
1 z* [8 \" \9 |8 w' T+ `探讨到此完毕，最后的最后呢，针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因，我们一一击破。
$ o, Z6 [; |3 z) M
' g% R+ R W/ k+ H, K, W1-8 依次检查网站，逐一排除，逐一解决。
/ \( `/ x% ]1 z/ _4 \/ r+ f4 C5 I/ D; A/ y( v/ ~: S* Z2 K% O
8大爆破方案如下：
- ?: U1 Z# h2 n% n! I; B& ~; z. C& L0 H2 u7 J; ]
破1、robots.txt的问题，浏览器输入，查看下，一目了然。2 z" Q, N; O) a8 L
5 N4 F" J0 B ]" v. L+ J
破2、这个情况，作为网站的维护者最清楚。如果有群发的seo作bi手法，造成百度蜘蛛只爬网站的首页不爬内页”很常见。
2 k; B; l5 F d) S" E
# j. d+ A: H6 ]' g0 g! @! T5 V% x处理方法：) q3 l) _6 r3 x( Z0 ^8 {6 O" _+ ^
; i7 u: K; k/ Q4 W- U6 Q D0 c停止群发的一切seo作bi手法。
- X" K+ `7 C5 {
( n3 M; q- ?0 f( Y8 M. ]! ~有规律并且持续的更新网站内容，网站内容最好原创，次点也要是高质量的伪原创。3 U0 K" a% D! _1 y. I
: G0 i; l5 J3 Y适当的做点外链和友情链接，引引蜘蛛。
4 @9 ~- [' Y* L" }8 B$ c
$ y/ x0 V) l: \这种情况只能淡定的坚持，等。9 x L: a& l3 v% A
) R1 I4 ^' G$ \+ Q4 l2 c3 U破3、可以通过查询“网页http状态码 ”，分析网站返回的代码，判断问题原因。
5 m, c. w/ d6 h* ?# v" X+ [) Q0 p. L# Y, u9 F) P
还有一种情况，与你同IP服务器的网站被百度惩罚，从而牵连到你的网站。
4 ~( k. Y5 v3 ~ I' T6 p* n5 }! K* R4 K! |2 `# \- f
要么你还淡定的坚持，等。要么换服务器。
' s: N" ^" h4 ~9 w& Q, v @) J4 O. i; q! O. ^# t. M7 `0 e
破4、整理网站导航，理顺结构，让网站导航更清晰明了。
6 R7 V& K* \+ m* x: h/ ?
0 m5 P3 R' u1 ?! l" g: N调用文章标题到首页，增加一个“最新文章”、“文章推荐”等版块，增加内页入口。
0 I' Y$ p0 N x8 l+ N" ^8 X) K$ `4 H( G ?; a( ~
破5、站内文章垃圾得百度蜘蛛都懒得去爬，你还祈求蜘蛛爬完首页爬内页？
7 @4 K! v& x* a' o8 C
" _1 |9 j+ b+ i/ O整理修改已经被百度收录的垃圾内容，清理未被收录的。8 }1 j) ^4 [/ ?, U
; ]- l3 L* \$ a/ p0 k
然后坚持有质量、有数量的更新网站内容，同时做好站外链接工作。; K( w: ~) A# v
' Y, c: a: u9 S+ N3 R& [破6、月初更新一篇，月末更新一篇，天天抱怨为什么“百度蜘蛛只爬网站的首页不爬内页”。$ {. V. b1 l2 c8 ]; I( ?' b8 u8 y
7 M7 v2 u+ ^" S9 ]/ E4 q省省力气更新几篇文章吧。
: b S% C/ F8 O- d1 g5 @; s; H3 X* U0 _; Y
百度蜘蛛像人一样，它本来是1天来一次，你网站没有更新。然后就2天来一次，你的网站依旧没有更新。然后的然后就是5、10、15。8 w% ]( D+ O! k
$ |+ r( m/ h$ Z: Y+ ^百度蜘蛛也有自己的行为习惯的，虽然它的智能很低级，也不能置之不理。
+ q5 `0 P( J( q% w1 D1 w5 Z
4 |1 g& N. S! |0 T4 I9 v P$ `破7、作为一个新站就低调点，别天天都纠结“百度蜘蛛只爬网站的首页不爬内页”的问题。
2 w' e( N" I; Z- i- p- e
0 I7 A% E7 n% C$ b- c制定自己的网站优化方案，维护更新管理的网站，切忌使用任何作bi手法。 Z6 v% `, P9 f* n u2 x8 \
6 J1 J- P) }! D# L1 {) f破8、这个原因很难确定，如果以上原因你的网站都不存在，而你的网站也是“百度蜘蛛只爬网站的首页不爬内页”。
. I S6 W* Q7 }
& O& c8 r+ |/ h! T9 ~) W* q那么，就可能是还处在百度的沙盒之中。+ X1 v% g. M- i; u
! d0 j4 R1 B0 Y这是百度对新网站的考查期，或者是网站被惩罚后的观察期。
! y4 H; \) b' v8 B7 ~( ?! ?
! p8 J+ e; h. O4 W7 i, l0 m8 h淡定面对，积极执行已定的网站优化方案。
" j/ `+ Q, q: ]- R5 A( r( L. N4 }6 [" K
今天就这么滴吧，希望南唐的文章能够帮到你。
# g3 F0 I- }% s! j- Y
* n/ E# d r9 v* m, K8 C( j
) c! H0 m7 @% [ |
|
