|
|
百度蜘蛛只爬网站的首页不爬内页，这是怎么回事？这个问题很多人都纠结的，特别是新站上线，久久不见收录量增加，更是心急火燎。
8 R, x2 B1 ]. R( \6 _. U& M+ O4 h' x+ w( L: M6 X% S5 N( C# w
首先解决一个问题，怎么知道“百度蜘蛛只爬网站首页不爬内页”？
8 t2 |9 _) r( x& Q5 ?& c% c8 q- C5 m4 C( ~6 |5 T/ A
蜘蛛爬行情况可以通过网站IIS日志查看，日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。9 z& K/ N, D( G, f6 p' e; B a
' @* `) K# K4 J6 u" e神马？看不懂IIS日志？
* n; k$ \& r& ?# N& B
- T* j* `9 Q- E1 M0 _网上有很多IIS日志分析工具，百度一下。这里推荐使用光年IIS日志分析工具，快速易用。- v) d6 E* @5 Q& M. e! d
; P5 a+ Y+ x8 R: {5 o w( o接下来，南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。
8 ]7 L: H: I+ C! g/ r4 Z4 t5 m c5 Q5 e9 x5 D
“百度蜘蛛只爬网站的首页不爬内页”原因有如下：
: h+ A8 ^ i7 y' [
5 J- r* ?3 Q7 I" H/ S. R7 y1 z1、robots.txt，错误操作，屏蔽了内页。
7 o G% C/ P( C8 E" l
( e, m4 r+ ]6 P# l6 H2、群发等作bi行为。
- X0 u9 J$ K* J# W8 q+ K$ F3 V/ A& r# t$ L* C6 q( [
3、服务器的原因。3 R- j3 k5 x. ~1 O
% _, N1 Z+ Y% F5 W/ ]9 Z N4、网站首页到内页的链接太少，导航结构混乱，导航不清楚。
0 I W0 Q0 p" y* J
5 i. j$ B2 U7 I4 o! P4 M5、网站质量太烂，权重极低。
) F) o) C' i& J( t ?' X5 L8 L" x. E# q; D/ J j
6、网站维护的时候三天打鱼两天晒网。7 ?" O$ s( k, A3 d; u; E
/ V Z0 ~2 `4 F4 f5 I! v K
7、网站超级新，新的一塌糊涂。, Z# O* A4 v9 p& G
4 S$ W: I! m+ c2 T
8、网站还在百度的沙盒中，百度蜘蛛爬了，也抓取了，没有放页面快照。( y& q3 b9 `6 N! I
* A6 T0 ~' q. V) y2 D/ `首页能够被百度蜘蛛爬行，说明网站并不是让蜘蛛不屑一顾。% W: d4 j% s9 Y& F1 I
- f: z; I3 a6 Z1 ^+ V那肯定就是上面7条原因中的某一条或者N条，导致了“百度蜘蛛只爬网站的首页不爬内页”。
. I z7 L' T) m: k% P7 ?6 t6 `3 Y& z
探讨到此完毕，最后的最后呢，针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因，我们一一击破。/ O5 ]0 I+ a2 {" a
" W% k- }, t9 y2 x: _
1-8 依次检查网站，逐一排除，逐一解决。
5 e1 \% G$ [5 C" b M( g. F/ V
7 p' H) P g- \! i; e2 A8大爆破方案如下：% l" s5 k7 L( i, \- H
5 g7 X2 }6 W. L+ i# h' A破1、robots.txt的问题，浏览器输入，查看下，一目了然。
; z: k$ R1 m' l- w( ^1 Z1 v+ t# K* ]
破2、这个情况，作为网站的维护者最清楚。如果有群发的seo作bi手法，造成百度蜘蛛只爬网站的首页不爬内页”很常见。3 m! F' }; ~& [7 P$ t( f: x
6 L6 S, X& [4 S5 N9 b处理方法：" v# ~2 ]4 j& X2 F8 D
% Z% Z( {% z% t2 L停止群发的一切seo作bi手法。3 J8 \/ |: I/ U
~% L' J: B6 n1 _9 N& v8 P- F有规律并且持续的更新网站内容，网站内容最好原创，次点也要是高质量的伪原创。
6 q" q8 Z# u. @% @( V' k. r6 f* ~
& I7 N2 l5 ^; y% Q0 A: G适当的做点外链和友情链接，引引蜘蛛。
S9 i" W9 z( t) ^5 T6 `5 i+ _
1 d9 x" E! L) j9 B这种情况只能淡定的坚持，等。
3 K7 k& u2 E, H/ z: @2 B% x) S& ] {. a& k
破3、可以通过查询“网页http状态码 ”，分析网站返回的代码，判断问题原因。: T8 N' y# p/ K5 a. H# p# ^
/ H2 a# f( p; a; j/ f' L Z
还有一种情况，与你同IP服务器的网站被百度惩罚，从而牵连到你的网站。+ @, o6 i. b7 W0 R/ S2 o
# i* `" q6 |+ K" r3 m* j要么你还淡定的坚持，等。要么换服务器。
- Q, u* A; M: G8 H$ v6 s! |; {4 l+ l; N6 z
破4、整理网站导航，理顺结构，让网站导航更清晰明了。
$ b1 o9 G2 z& e1 \3 }2 T0 W5 d. [" _3 @( Y) I! O" j' o
调用文章标题到首页，增加一个“最新文章”、“文章推荐”等版块，增加内页入口。
0 |7 o$ y5 ^- i; g+ {+ j- u
7 O# @+ ?- j. q4 o5 Z k0 f S! l$ `破5、站内文章垃圾得百度蜘蛛都懒得去爬，你还祈求蜘蛛爬完首页爬内页？
4 V! @( o) a" R3 j% \% J
, a& p1 j0 P3 ?) u整理修改已经被百度收录的垃圾内容，清理未被收录的。' z6 E4 w7 E/ t. ?
( K& w$ w5 p3 W" f
然后坚持有质量、有数量的更新网站内容，同时做好站外链接工作。
# C# _3 D3 L# ]9 X7 K m
% J$ C* v2 v+ P; y破6、月初更新一篇，月末更新一篇，天天抱怨为什么“百度蜘蛛只爬网站的首页不爬内页”。
$ }- O6 }$ {% s% z8 ^7 y8 D+ ~
0 k. P2 v* \, B$ u( }省省力气更新几篇文章吧。- n5 E& l% x, R6 s( r, x
. [, [; g3 x3 G
百度蜘蛛像人一样，它本来是1天来一次，你网站没有更新。然后就2天来一次，你的网站依旧没有更新。然后的然后就是5、10、15。
$ H: {$ g( z' a8 q3 v1 D- [
$ ]! P O( D* J0 N0 H/ |5 d百度蜘蛛也有自己的行为习惯的，虽然它的智能很低级，也不能置之不理。
0 \2 }, g' Q1 B* q. d0 J, ^
; L6 h" w# P: p4 B) Z) L: h+ d破7、作为一个新站就低调点，别天天都纠结“百度蜘蛛只爬网站的首页不爬内页”的问题。0 C6 n. [$ P# e" u; ^' U
6 T0 x9 h9 z& }" j$ U% j制定自己的网站优化方案，维护更新管理的网站，切忌使用任何作bi手法。
8 ?1 O( P, n, x4 P, {8 `4 s( R$ i$ E% g7 ?2 Q; ~5 r
破8、这个原因很难确定，如果以上原因你的网站都不存在，而你的网站也是“百度蜘蛛只爬网站的首页不爬内页”。9 n" J% g Y, F
/ L0 Q5 \" x- S( [; G
那么，就可能是还处在百度的沙盒之中。6 _! ~& C. d! ^" \1 i
" x4 d3 ^* m3 t
这是百度对新网站的考查期，或者是网站被惩罚后的观察期。
8 ^# l0 r/ Z8 t8 t. z( ~
/ L# s( v' [2 a/ Z, z淡定面对，积极执行已定的网站优化方案。
" E9 m; S h# U8 o9 t6 b+ L* _' ]; ?# P, x
今天就这么滴吧，希望南唐的文章能够帮到你。
. M m' O4 P/ Z3 p7 Z; C4 Z
: v- j% J& {* T2 l4 \7 _$ a8 ?" ]" c; n1 U( q
|
|
