最近有一个新网站上线，因为是一年多的域名，之前网站和新站内容完全不同，网站结构也做了很大的调整，所以带来了很多的404错误抓取页面，当时并没有特别注意这个问题，后来持续更新了2个星期左右，发现快照都没有更新，发了一些简单的外链也没有作用，这个问题就引起了我的注意。下面具体的跟大家分析下自己的一些思路：5 i6 a$ B, r7 e) S7 n
1、利用日志分析工具找到404错误抓取页面* M4 K" Q/ Z2 C1 w
日志分析工具利用最常用的光年日志分析工具就可以了，首先利用FTP下载好最近几天的网站LOG日志，当然，想更多的分析，那么多下载一段时间的LOG日志也可以，利用日志分析工具新建任务分析各个阶段的百度蜘蛛抓取情况，这里主要考虑百度抓取情况，因为建立这个分析工作的前提是快照停滞，收录为1。; \0 L, j0 M" |8 O0 N
这里建议大家分为三个时间段来分析：- h0 p! \% N1 P. b6 W8 `# G
A、分析最近一天的LOG日志，可以是今天的，但是最好是昨天的，因为昨天的会比较全，今天的你即使是晚上来分析也会有一部分时间没有统计到。/ e( k1 }# r9 ^! M8 r# K3 u
B、分析改版之后的LOG日志，因为这涉及到百度蜘蛛对于网站改版的一些判断，例如我们可以分析百度蜘蛛什么时候开始判断网站已经改版，或者什么时候已经放弃对于旧站URL的抓取等等。mm139.com/a1k08ds/0 u+ _$ o0 K2 u( b O3 }5 O! q
C、改版前后抓取量的对比，分析改版对于百度蜘蛛的抓取量影响多大。$ m' Y0 `2 f5 l
至于日志分析工作后面的分析工作都是一键式的，具体的分析思路有了之后，我们对照着进行分析，就会找到很多平时我们没有注意到的问题，例如下面出来改版造成的404页面，还有不少的页面也是404错误，我并没有意识到，例如下面的wp-login.php页面就是一个最典型的例子：5 o1 M6 p& P; B4 h9 i, K9 F
404错误抓取页面
5 E" {& @; ~8 z9 z4 A' p 2、利用百度站长工具中的死链提交工具进行死链提交
! |; o. H, R1 @8 w8 v 百度站长平台LEE团队说：404状态码代表Not Found，spider更新时会认为该页面已失效，此时呢将在索引库中删除，短期内spider再次发现该url不再会抓取。当然，百度的说法只能作参考，因为分析网站日志发现，2个多星期百度蜘蛛还是来抓取这些错误页面，当然，百度对于404错误页面的指导性操作，还是非常有针对性的。
, n2 G5 a( ~& w+ S, Z& w 百度站长平台对404页面的看法* x& U/ ]3 q% U3 T
特别是死链提交工具中提交死链sitemap，这一条大家可以根据自身的情况进行死链提交，我这边提交后暂时还没有大的效果，因为大家都知道百度的效果展现周期一般都比较长。. E0 ]7 z3 G( \* H( A3 l8 H
3、利用robots.txt和nofollow标签引导蜘蛛抓取
! U; \1 l. _, w( D+ G; v& |# U 404错误页面一个最大的坏处就是给蜘蛛带来一些错误的抓取，浪费了蜘蛛抓取资源，举个例子，首先我们要达成这样的一个共识：任何一个网站的蜘蛛抓取访问资源都是有限的，小网站自然要少很多，而大网站就要多很多，要想蜘蛛抓取率更高，抓取的更合理，那么一些错误的链接造成的404错误量就要尽可能的减少。
0 X; V3 X4 Q3 t1 x2 g
- Z: Y. l% ^% ^) Z# N/ J |
