蜘蛛长时间停留在自己的网站抓取

　　一、否有网站地图当蜘蛛拥有了这张路线图的时候，  网站地图对于蜘蛛来说就是一幅爬行路线图。那么在网站上爬行就不会那么的费劲，而且也不会有随时会转到头晕的感觉。网站地图是专门给蜘蛛用的目的就是减少蜘蛛爬行时间，加快蜘蛛爬行速度，终究，如果你网站不配地图的话，就像自己去一个陌生的地方，没有地图，就要靠盲目的找了这要花的时间多了多少，笔者不知道。所以，同样的道理，网站地图对于蜘蛛来说也一样的重要，省什么都不要省了地图，战前的准备、战中的方向、战后的总结。

0 @- `) `* }/ z5 X- Q" H' r" E　　二、否设置404页面其实按笔者的实战心得来说，  很多的站长在网站优化过程中对于这个根本不在意。这个对于一个存在死链的网站有着很重要的意义，因为他可以帮网站告诉蜘蛛，当它爬到死角的时候，给他一条进去返生之道，404页面就是为了防止蜘蛛走进死胡同出不来而准备的谁敢保证自己的网站不会有死链的呈现，死链对于一个网站的影响是很重要的如果网站的死链过多，而又缺少404页面，那么用站长工具查询分析的时候，会发现，很多的页面都抓取错误，这一方面说明，网站对蜘蛛的友好度不够，让蜘蛛产生排斥的心理。所以，404页面一定要给网站来上一个，反正又不占多大的空间，为什么不搞上呢？长沙网站优化的网站当初处于这个考虑，也设置了404页面。

2 f0 t2 X! b8 h" X$ W6 |　　三、否导出链接过多对于癫痫网站的权重集中有很大的影 响，  一个网站过多的导出链接。对于蜘蛛的逗留时间有很大的催促作用，因为当蜘蛛爬行你网站的时候，一般都是由头爬到尾的那么蜘蛛爬行有时候是按广度爬行法，有时按深度排行法，当它按广度排行法的时候，刚好爬到尾部而还没进入内页，就给他来一条导出链接，那么蜘蛛也会依照其导出链接出去的这样就是经常看到蜘蛛来了但是没收录任何页面的原因了所以，网站不要设置过多的导出链接，给你网站没有任何的利益。本文有 http://www.bdf999999.com/ 整理发布

说得很实在，没有夸大其词，这种真实分享太难得了

完全赞同，我也是这么认为的，英雄所见略同～

这个分享太实用了，刚好能用到，感谢楼主！

蹲了这么久，终于看到有价值的讨论，支持一下！

分析得很透彻，很多细节都说到点子上了～

内容很干货，没有多余的废话，值得反复看