找回密码
 加入怎通
查看: 1675|回复: 1

[关于百度] 百度蜘蛛只爬首页不爬内页是怎么回事?

[复制链接]
TONY 发表于 2011-11-24 10:34:03 | 显示全部楼层 |阅读模式
核心提示:百度蜘蛛只爬网站的首页不爬内页,这是怎么回事?这个问题很多人都纠结的,特别是新站上线,久久不见收录量增加,更是心急火燎。蜘蛛爬行情况可以通过网站IIS日志查看,日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。百度蜘蛛只爬网站的首页不爬内页,这是怎么回事?这个问题很多人都纠结的,特别是新站上线,久久不见收录量增加,更是心急火燎。! T8 n% x  E* a: Q4 X/ p) K$ B
首先解决一个问题,怎么知道“百度蜘蛛只爬网站首页不爬内页”?
3 Z$ T  V: M; I* }. n9 a# H5 _蜘蛛爬行情况可以通过网站IIS日志查看,日志里面清楚的记载着蜘蛛的爬行时间、爬行的页面、抓取的页面等信息。; r" Q  m# q5 V- W! f
神马?看不懂IIS日志?8 v2 c! E) s2 l& U; `: d
网上有很多IIS日志分析工具,百度一下。这里推荐使用光年IIS日志分析工具,快速易用。
+ t2 x. V: M) n  ]3 X$ M! k0 |' R接下来,南唐给你分析下“百度蜘蛛只爬首页不爬内页”这个问题。' D/ ^% X* l8 ]3 j5 z* e& R
“百度蜘蛛只爬网站的首页不爬内页”原因有如下:
2 d$ v# Q# r/ x- r) P7 L8 A8 a+ P1、robots.txt,错误操作,屏蔽了内页。
1 n% b# a, m' Q  g. o: L  c' I- o& ]2、群发等作弊行为。' S4 {% D2 j3 m5 o$ [' M) A
3、服务器的原因。
  m8 y' U2 ]- J( t" f" Y' e1 k7 g4、网站首页到内页的链接太少,导航结构混乱,导航不清楚。
1 S  [, G$ \+ p/ L5 u6 V0 n5、网站质量太烂,权重极低。# |/ z. E% Q$ Q8 [
6、网站维护的时候三天打鱼两天晒网。! j0 \( c8 A8 Q: |. m% Z- k, o6 k+ {( Y
7、网站超级新,新的一塌糊涂。
6 e: u# m$ e6 ^/ E, H8、网站还在百度的沙盒中,百度蜘蛛爬了,也抓取了,没有放页面快照。
* _  ~8 C* T  Y' K3 \( V首页能够被百度蜘蛛爬行,说明网站并不是让蜘蛛不屑一顾。& J" U7 w3 C0 `( N& [
那肯定就是上面7条原因中的某一条或者N条,导致了“百度蜘蛛只爬网站的首页不爬内页”。/ {& H# @; a6 v
探讨到此完毕,最后的最后呢,针对上面“百度蜘蛛只爬网站的首页不爬内页”的8条原因,我们一一击破。/ `1 B* [8 R+ t9 q7 c1 e: p1 E
1-8 依次检查网站,逐一排除,逐一解决。7 d5 z; O5 N( v4 e3 d0 C# S) {# h" N
8大爆破方案如下:" w, A7 K+ b6 S2 ?' [; E
破1、robots.txt的问题,浏览器输入,查看下,一目了然。8 d$ G- f! Q: d  p) H( K9 e
破2、这个情况,作为网站的维护者最清楚。如果有群发的seo作弊手法,造成百度蜘蛛只爬网站的首页不爬内页”很常见。( o* H6 n: b1 e2 W% o
处理方法:
, _$ C. J& W4 W4 C  `停止群发的一切seo作弊手法。0 o. j& T7 D' x, l2 E" ~
有规律并且持续的更新网站内容,网站内容最好原创,次点也要是高质量的伪原创。# u' i7 C( B3 |" x# c4 Z: v
适当的做点外链和友情链接,引引蜘蛛。  D: S. |7 E/ C* F' H# n
这种情况只能淡定的坚持,等。
' f* H5 W% e9 x8 G- e破3、可以通过查询“网页http状态码 ”,分析网站返回的代码,判断问题原因。! v& Q( ^  S0 G/ C5 e
还有一种情况,与你同IP服务器的网站被百度惩罚,从而牵连到你的网站。, T* Q! e) j. z: p, u; K0 m
要么你还淡定的坚持,等。要么换服务器。
$ a# Y: h, O0 S" N/ j2 K( p' a" v: C破4、整理网站导航,理顺结构,让网站导航更清晰明了。0 {% g; [- O5 w: J6 u$ [+ Y
调用文章标题到首页,增加一个“最新文章”、“文章推荐”等版块,增加内页入口。
/ a8 v6 c1 d2 t9 A  n2 i破5、站内文章垃圾得百度蜘蛛都懒得去爬,你还祈求蜘蛛爬完首页爬内页?
2 d4 m8 n! s2 {8 E8 M6 H2 f/ s整理修改已经被百度收录的垃圾内容,清理未被收录的。
; w7 ?& p1 M2 t8 S/ ]% T2 n, G  ]. }) i然后坚持有质量、有数量的更新网站内容,同时做好站外链接工作。- r' G% `4 X' o9 y5 J5 W1 D
破6、月初更新一篇,月末更新一篇,天天抱怨为什么“百度蜘蛛只爬网站的首页不爬内页”。
- Q- D$ ^/ I" S1 ]3 u: T省省力气更新几篇文章吧。: ^3 R" j6 w2 p+ H* i& G0 s2 {' e' Q
百度蜘蛛像人一样,它本来是1天来一次,你网站没有更新。然后就2天来一次,你的网站依旧没有更新。然后的然后就是5、10、15。8 j" S4 r. Y3 {
百度蜘蛛也有自己的行为习惯的,虽然它的智能很低级,也不能置之不理。
" N6 \% }* @& c6 I3 c! ~" q2 l破7、作为一个新站就低调点,别天天都纠结“百度蜘蛛只爬网站的首页不爬内页”的问题。, z/ \5 ~# k' ]3 a* }. y1 M8 J
制定自己的网站优化方案,维护更新管理的网站,切忌使用任何作弊手法。
% @' C# b: ?- Z( h, t破8、这个原因很难确定,如果以上原因你的网站都不存在,而你的网站也是“百度蜘蛛只爬网站的首页不爬内页”。- j( T6 [; Y( n/ z, @7 [
那么,就可能是还处在百度的沙盒之中。$ Q; b& g/ n0 J" T0 A3 P) I
这是百度对新网站的考查期,或者是网站被惩罚后的观察期。0 q. f; G! P  M. S9 g
淡定面对,积极执行已定的网站优化方案。2 q7 G0 |1 p' e  u0 `- T2 _
今天就这么滴吧,希望南唐的文章能够帮到你。
: F3 ?, M* N! k, v. {5 t- Z本文出自:南唐的网站优化博客,地址:http://www.ba77.com/post/15.html,转载须注明!2 S- Q; L$ l* r
回复

使用道具 举报

 楼主| TONY 发表于 2011-11-26 05:32:45 | 显示全部楼层
不错   学习了  谢谢楼主分享:)
回复 支持 反对

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-3-13 13:53 , Processed in 0.266018 second(s), 28 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表