|
至于后面谈到搜索引擎蜘蛛的爬取深度，饱和度，优先爬取，冗余度以及爬取路径都是对于蜘蛛爬取习惯和爬取策略的研究，因为自己也没有针对性的去实践分析，所以只能在理论上谈谈自己的一些想法。 搜索引擎蜘蛛的爬取深度如果不够深，主要是因为网站在结构布局的时候没有考虑到这蜘蛛是否能够充分抓取或者是否按照一层一层的抓取，这里就涉及到链接入口的布局，也就会考虑到蜘蛛爬取优先的一些入口，很多时候对一些大的网站做诊断，来提升其流量和收录主要的策略布局就是优化蜘蛛抓取优先的入口，实现的方法就是采用nofollow标签屏蔽一些页面。还需要分析的可能是爬取的饱和度，因为对于单个页面的爬取太多是在浪费蜘蛛资源，我们如果能够适当的控制这些资源的分配，那么对于页面的抓取和收录的提升肯定有很大的帮助。 1 g; V3 L8 W& g7 b
| 
