百度蜘蛛只爬网站的首页不爬内页监测方法

百度蜘蛛只爬网站的首页不爬内页，这是怎么回事？这个问题很多人都纠结的，特别是新站上线，久久不见收录量增加，更是心急火燎。

$ b- O& v% \2 d0 G7 ]; W首先解决一个问题，怎么知道“百度蜘蛛只爬网站首页不爬内页”？

蜘蛛爬行情况可以通过网站IIS日志查看，日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。

神马？看不懂IIS日志？
( b4 e3 l9 p3 `' s; C
. o" K1 D) u2 f, J. K3 [3 ~0 s# h网上有很多IIS日志分析工具，百度一下。这里推荐使用光年IIS日志分析工具，快速易用。
7 y- Q9 g$ r4 a; ?8 ?
接下来，南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。

+ G. x; V3 r- \; ^* ^% V* a" U“百度蜘蛛只爬网站的首页不爬内页”原因有如下：
9 @, M$ ~! U7 c  M+ v. A) R( k
1、robots.txt，错误操作，屏蔽了内页。
/ T2 J9 ?" F/ Y
) O* k) j, M4 q2、群发等作bi行为。
, `5 `( O# ?7 [! F; ?$ S( `$ }
, d; U* r$ y) C. q, R7 e4 c3、服务器的原因。

4、网站首页到内页的链接太少，导航结构混乱，导航不清楚。

5、网站质量太烂，权重极低。

5 t0 Q! }, S( s4 ^6、网站维护的时候三天打鱼两天晒网。
$ w& W2 H  W, S2 c' m) s! d: l
1 `8 m& A# P0 }  m6 [7、网站超级新，新的一塌糊涂。

8、网站还在百度的沙盒中，百度蜘蛛爬了，也抓取了，没有放页面快照。
1 d/ r5 ]& ]. c; K! I+ o
首页能够被百度蜘蛛爬行，说明网站并不是让蜘蛛不屑一顾。

& W0 D2 l! n: H  q! L那肯定就是上面7条原因中的某一条或者N条，导致了“百度蜘蛛只爬网站的首页不爬内页”。
5 T) e0 ]! v" |- K
( \$ `! D, \+ w) v" N+ S$ Y探讨到此完毕，最后的最后呢，针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因，我们一一击破。

8 b* z- P8 P! i5 Y1-8 依次检查网站，逐一排除，逐一解决。
* O( @. h$ A8 o* h7 M/ t; X
* R' h% e' k% `4 }8大爆破方案如下：
' U3 A# r* Z/ s
+ B& r7 N( y# S: ~6 O破1、robots.txt的问题，浏览器输入，查看下，一目了然。

% p2 w+ @3 ~  T/ _) e) o破2、这个情况，作为网站的维护者最清楚。如果有群发的seo作bi手法，造成百度蜘蛛只爬网站的首页不爬内页”很常见。
. x9 ~! X# _( O- }( x
3 C6 j; n! I+ V. U处理方法：

# h" d  `% ?$ R停止群发的一切seo作bi手法。

0 t: T. y2 `& w0 G$ K5 x有规律并且持续的更新网站内容，网站内容最好原创，次点也要是高质量的伪原创。
2 r6 i( Q6 t9 p
9 ^2 \4 @" }/ _3 r( w5 a" Y适当的做点外链和友情链接，引引蜘蛛。

这种情况只能淡定的坚持，等。
# I9 K% Y( \4 ?# U
破3、可以通过查询“网页http状态码 ”，分析网站返回的代码，判断问题原因。

8 a# l7 j# g- o* H2 N9 x还有一种情况，与你同IP服务器的网站被百度惩罚，从而牵连到你的网站。

要么你还淡定的坚持，等。要么换服务器。
. Z! F+ r3 p/ o. \  U& f% `# `  n2 i
2 h' t; m3 q! w* P破4、整理网站导航，理顺结构，让网站导航更清晰明了。

调用文章标题到首页，增加一个“最新文章”、“文章推荐”等版块，增加内页入口。

# |: F2 g* [7 _1 C破5、站内文章垃圾得百度蜘蛛都懒得去爬，你还祈求蜘蛛爬完首页爬内页？

4 z$ S3 _# x( {5 Z整理修改已经被百度收录的垃圾内容，清理未被收录的。

( H9 y4 S+ e. Z9 F然后坚持有质量、有数量的更新网站内容，同时做好站外链接工作。
8 V: f. x4 N, k, W: b
破6、月初更新一篇，月末更新一篇，天天抱怨为什么“百度蜘蛛只爬网站的首页不爬内页”。
& O/ `1 N" \$ d" I6 T3 R4 ~# l
8 y7 |+ v$ x& j6 a省省力气更新几篇文章吧。
" x5 N* J% `! Z6 J: N3 U% t" h
百度蜘蛛像人一样，它本来是1天来一次，你网站没有更新。然后就2天来一次，你的网站依旧没有更新。然后的然后就是5、10、15。
0 O& c6 P0 w' q
百度蜘蛛也有自己的行为习惯的，虽然它的智能很低级，也不能置之不理。
1 [" R% X# N. |' V* s
6 p  [2 \# @% I破7、作为一个新站就低调点，别天天都纠结“百度蜘蛛只爬网站的首页不爬内页”的问题。

制定自己的网站优化方案，维护更新管理的网站，切忌使用任何作bi手法。

破8、这个原因很难确定，如果以上原因你的网站都不存在，而你的网站也是“百度蜘蛛只爬网站的首页不爬内页”。

! w8 Z& y7 R# F. @% z  C那么，就可能是还处在百度的沙盒之中。
) x- w( O/ i; [8 _" y  _* l8 {
! w  d+ C. b* D) j5 h1 t# O( |这是百度对新网站的考查期，或者是网站被惩罚后的观察期。

淡定面对，积极执行已定的网站优化方案。

今天就这么滴吧，希望南唐的文章能够帮到你。
* f) w" u+ Q. s  }, m0 M" A
( ?" q" ?+ V; w& i* x8 p
$ S- _( @+ ^0 r1 e: i

楼主辛苦了，整理这么多内容，必须点赞收藏

蹲了这么久，终于看到有价值的讨论，支持一下！

说得很实在，没有夸大其词，这种真实分享太难得了

完全赞同，我也是这么认为的，英雄所见略同～