做SEO没有人不知道蜘蛛吧,robot.txt文件就是和蜘蛛交流的文件,很多人都会说介绍要怎么让蜘蛛来爬行,却很少人知道用robot.txt去操控蜘蛛,robot.txt用得好的话蜘蛛可以为你所用。下面我来介绍一下如何操控蜘蛛。
" H3 K1 D6 Z8 f) h! c
, Z3 u, [4 p' O2 Q' r+ e7 | 一。 屏蔽相同页面
0 j0 R4 T4 g# {9 B E1 y4 B2 g# r. J$ B( ? X# o3 u% g
搜索引擎是个喜新厌旧的东西,不会去收录重复的也或者已有的页面,即使收录了后期也会被删掉,所以一开始我们可以打开robots文件,写入禁止蜘蛛来读取这个页面的代码,给蜘蛛来下个好印象,反之印象分会大大减分,影响将来蜘蛛来爬行网站。
9 S5 k8 J. P8 w, v2 k F' _% [& F
9 M, \& S F9 g* C% q7 G; f% c% y 二。维护网站安全! `8 l, V% }% U8 ~
4 S4 u3 Y' p9 H* W5 D9 i 利用robots文件可以保护网站安全,有些人可能会问如何保护网站,如果不用robots文件屏蔽掉蜘蛛抓取admin后台页面或后台以下的文件,蜘蛛就会默认收录这些页面,让heike有机可趁。
. `, G' J; m3 Y2 I( D. G' n0 l0 E4 A* M6 X: U2 {
|