影响蜘蛛爬行的因素
1、网站的整体结构。包括：title中是否嵌入关键词、网站标题、meta中的关键字、描述标签、导航栏等。参考文章：如何构建良好的网站结构
2、 建设网站地图。
网站地图就好比是一个指向标，唯有清晰明了的指向标才能指引蜘蛛的去向。方便快捷的道路也会勾引来更多的蜘蛛。
3、网站的原创内容。
原创的内容对于百度蜘蛛的吸引力是非常巨大的，原创的内容就好象是主食，蜘蛛是每天都需要的。参考文章：如何写出高质量的原创文章
4、网站的外部链接。
要被蜘蛛抓取，就必须有导入链接进入页面，否则蜘蛛根本没有机会知道页面的存在。参考文章：高质量外部链接的标准是什么?
5、内部链接优化。
蜘蛛来到你的网站之后，自然会通过你的网站结构，遍历你的网站，几乎能够跑遍你网站上的所有链接，这些链接一旦出现死链接，就很容易造成蜘蛛爬不出来，次数多了，百度自然会对你网站没有好印象。
6、网站的更新频率。
蜘蛛每次爬行都会把页面数据存储起来。如果 第二次爬行发现页面与第一次收录的完全一样，说明页面没有更新，蜘蛛也就没有必要经常抓取了。页面内容经常更新，蜘蛛就会更加频繁的访问页面，页面上出现的新链接，自然会被蜘蛛更快地跟踪、抓取。参考文章：为什么说网站内容更新非常重要？
7、监测蜘蛛的爬行。
可以利用网站日志知道蜘蛛正在抓取哪些页面，还可以利用站长工具对蜘蛛的爬行速度进行查看，合理分配资源，以达到更高的抓取速度和勾引更多的蜘蛛。
讲的不错 学习了 内链很重要，是给蜘蛛引路! 不错的东西。学习了 想知道有没有方法可以看到蜘蛛的路径。就是爬过的痕迹。 写的非常不错！顶一个！
内容很干货，没有多余的废话，值得反复看 楼主太厉害了，整理得这么详细，必须支持 这个思路很新颖，打开了新世界的大门，谢谢分享 蹲了这么久，终于看到有价值的讨论，支持一下！ 学习到了，之前一直没注意过这个点，受教了
页:
[1]