百度蜘蛛只爬网站的首页不爬内页监测方法

百度蜘蛛只爬网站的首页不爬内页，这是怎么回事？这个问题很多人都纠结的，特别是新站上线，久久不见收录量增加，更是心急火燎。

首先解决一个问题，怎么知道“百度蜘蛛只爬网站首页不爬内页”？
; @( N( O: G& e& b1 y
蜘蛛爬行情况可以通过网站IIS日志查看，日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。
  ~& j' h; v$ [
神马？看不懂IIS日志？

: c: i% {9 |3 K# g; i网上有很多IIS日志分析工具，百度一下。这里推荐使用光年IIS日志分析工具，快速易用。

接下来，南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。
8 p5 s# `2 `# Q" g7 x
) Z% m; U4 M9 c3 f“百度蜘蛛只爬网站的首页不爬内页”原因有如下：
( t, x6 K; u! d/ u! m+ Q0 v& K3 F9 \
9 E1 x/ X# ^! \" ~1、robots.txt，错误操作，屏蔽了内页。

6 S9 m4 d) O' _2、群发等作bi行为。
5 ^! N9 o' z8 [7 u7 k# a8 n  j5 u8 \8 W
3、服务器的原因。
2 J9 i2 L5 ~* I$ b4 u) C, H
6 o4 }5 V9 ?4 N: M" R  _4、网站首页到内页的链接太少，导航结构混乱，导航不清楚。

8 `1 s' W* W. A+ j$ v9 t5、网站质量太烂，权重极低。

6、网站维护的时候三天打鱼两天晒网。
* a% r6 J/ _. [* P! z  B  m+ }8 q
# _: K; o$ j2 D2 ~& g7、网站超级新，新的一塌糊涂。
' S3 L# K+ \& l4 w/ r
- x! _7 e' I+ t' e6 p  E; g8、网站还在百度的沙盒中，百度蜘蛛爬了，也抓取了，没有放页面快照。

, {2 K' P8 }6 {, M. d首页能够被百度蜘蛛爬行，说明网站并不是让蜘蛛不屑一顾。

那肯定就是上面7条原因中的某一条或者N条，导致了“百度蜘蛛只爬网站的首页不爬内页”。

) Z0 u5 J& x/ W6 R$ V& t探讨到此完毕，最后的最后呢，针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因，我们一一击破。

2 E( j2 M2 |2 @6 o4 F" S/ g1-8 依次检查网站，逐一排除，逐一解决。
4 d) c+ W6 [, X8 R# ]
8大爆破方案如下：

+ Q! ]) ]/ _; L破1、robots.txt的问题，浏览器输入，查看下，一目了然。
% p; r4 q1 D- Y$ \
* y' B  Z5 H% F5 t: v! l+ z破2、这个情况，作为网站的维护者最清楚。如果有群发的seo作bi手法，造成百度蜘蛛只爬网站的首页不爬内页”很常见。
' l% ^! e; [, A, C" P! W+ N! z: _
8 M, A( W9 P9 w  N. }/ b' X" d处理方法：

& s8 l# p- b( O0 l  Q9 A) h停止群发的一切seo作bi手法。
$ _7 N: v4 d$ z9 e
) s1 H! z6 l6 y' h" i3 G* l' b' d有规律并且持续的更新网站内容，网站内容最好原创，次点也要是高质量的伪原创。
2 Z/ [0 Q6 \. |$ \6 A
适当的做点外链和友情链接，引引蜘蛛。
2 ^3 s  e1 F! M' o# `2 P3 G
这种情况只能淡定的坚持，等。

破3、可以通过查询“网页http状态码 ”，分析网站返回的代码，判断问题原因。

5 [& |) o0 _/ f. [9 X还有一种情况，与你同IP服务器的网站被百度惩罚，从而牵连到你的网站。

要么你还淡定的坚持，等。要么换服务器。
: w& O3 a- a: ~: c" x* M! K
破4、整理网站导航，理顺结构，让网站导航更清晰明了。
- Z5 O4 f, |2 w" ?
调用文章标题到首页，增加一个“最新文章”、“文章推荐”等版块，增加内页入口。
# N! |" g3 W  M2 ~) w; g8 \
. X- w4 h' w! J/ j- A破5、站内文章垃圾得百度蜘蛛都懒得去爬，你还祈求蜘蛛爬完首页爬内页？

. L5 U! c$ ~1 |# d整理修改已经被百度收录的垃圾内容，清理未被收录的。

然后坚持有质量、有数量的更新网站内容，同时做好站外链接工作。

* ^8 f0 b, o4 ?- K/ }7 i破6、月初更新一篇，月末更新一篇，天天抱怨为什么“百度蜘蛛只爬网站的首页不爬内页”。
+ U) [: E$ m7 f# Q+ {. N% S7 l# i# w
, I- ?: F& E- W省省力气更新几篇文章吧。
  \4 X( z  q! R5 H1 J
+ }" r, z/ I5 p. A  p百度蜘蛛像人一样，它本来是1天来一次，你网站没有更新。然后就2天来一次，你的网站依旧没有更新。然后的然后就是5、10、15。
# ?9 z( Z0 u- d2 i* @
. V* D) M+ b; a4 w' p5 Z* w; Y7 a2 m, R百度蜘蛛也有自己的行为习惯的，虽然它的智能很低级，也不能置之不理。
9 y$ [; S5 Y( u; X
破7、作为一个新站就低调点，别天天都纠结“百度蜘蛛只爬网站的首页不爬内页”的问题。
+ q8 Y8 d" p1 c% K+ L1 }
+ r2 V7 O+ C5 k1 H* A; H制定自己的网站优化方案，维护更新管理的网站，切忌使用任何作bi手法。
) o. R- J" H# k( b8 H
) ~! Q, ?' @/ T  Y; c破8、这个原因很难确定，如果以上原因你的网站都不存在，而你的网站也是“百度蜘蛛只爬网站的首页不爬内页”。
! k  [2 H2 l' m. d- w. S- a6 k
/ j  }( ]6 ?" Q& n- y那么，就可能是还处在百度的沙盒之中。
5 [1 @' i  s% Z0 \
5 p1 i: l+ }6 T1 S9 N8 k1 r8 x+ q: F这是百度对新网站的考查期，或者是网站被惩罚后的观察期。
" V% z/ G6 `& V
淡定面对，积极执行已定的网站优化方案。
( u$ k$ O( z2 K3 L
5 R& ?) k* q% ?1 Y今天就这么滴吧，希望南唐的文章能够帮到你。


7 h8 u$ u% Y7 u# J/ O$ S

楼主辛苦了，整理这么多内容，必须点赞收藏

蹲了这么久，终于看到有价值的讨论，支持一下！

说得很实在，没有夸大其词，这种真实分享太难得了

完全赞同，我也是这么认为的，英雄所见略同～