简单介绍一下如何操控蜘蛛

　　做SEO没有人不知道蜘蛛吧，robot.txt文件就是和蜘蛛交流的文件，很多人都会说介绍要怎么让蜘蛛来爬行，却很少人知道用robot.txt去操控蜘蛛，robot.txt用得好的话蜘蛛可以为你所用。下面我来介绍一下如何操控蜘蛛。
6 @; P6 ?+ t( V$ _7 l) j. T
; \/ r6 u" v! Q. W# f& @. @　　一。 屏蔽相同页面

　　搜索引擎是个喜新厌旧的东西，不会去收录重复的也或者已有的页面，即使收录了后期也会被删掉，所以一开始我们可以打开robots文件，写入禁止蜘蛛来读取这个页面的代码，给蜘蛛来下个好印象，反之印象分会大大减分，影响将来蜘蛛来爬行网站。
' ]. `' `7 ^, O1 ?
　　二。维护网站安全

　　利用robots文件可以保护网站安全，有些人可能会问如何保护网站，如果不用robots文件屏蔽掉蜘蛛抓取admin后台页面或后台以下的文件，蜘蛛就会默认收录这些页面，让heike有机可趁。
, n2 `6 j; ^  k# u
6 O' l8 ]- @. H8 ^' {2 }  m

学习到了，之前一直没注意过这个点，受教了

这个思路很新颖，打开了新世界的大门，谢谢分享