1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。
, E3 \5 B1 U& @5 X$ Urobots.txt写法如下：( i3 \- z7 u/ c3 V
User-agent: *# u( L3 @. K* d
Disallow:
4 T2 l. j: `, s+ u% `! k% Y或者
2 t" u( @4 a' Q. |6 s% |- e7 X cUser-agent: *
n$ W5 z# ]1 v2 |0 BAllow: // e6 u/ i, p( T% q- T
2如果我们禁止所有搜索引擎访问网站的所有部分的话 t4 Z( W; I. R# y
robots.txt写法如下：
1 g1 F- m$ c7 x% Q# {# t) [3 i# m4 OUser-agent: *" M/ y( R6 i1 a, P4 V8 J4 L
Disallow: /
w! ^9 J' i- b" P6 ~3如果我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话- e0 s- p9 p2 g
robots.txt写法如下：
( B( T' y# }, z: r1 N/ sUser-agent: Baiduspider
- X& \4 c4 ^# ]9 W, [Disallow: /
/ G1 {, o0 h9 E4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot& ~% f: X7 r: G$ s3 z
即可
+ u6 t3 S* d/ F& A+ y5 r5 ]robots.txt写法如下：
: ]( ] d/ {2 P, N6 @User-agent: Googlebot5 p9 i+ s% V! m! ^3 K; Q9 f
Disallow: /
+ ]$ K& |0 C6 O" x+ j7 O1 p5如果我们禁止除Google外的一切搜索引擎索引我们的网站话
3 D- v; N+ m, n2 Hrobots.txt写法如下：) O9 T* a) z6 V/ V' a9 ~
User-agent: Googlebot$ X1 T" W* J0 p3 @, q5 I/ z
Disallow:
0 v& H; Q, b5 O+ \User-agent: *
' d( Y8 z, @1 x! S; iDisallow: /
5 E4 y" h) {0 s; y6如果我们禁止除百度外的一切搜索引擎索引我们的网站的话
, R+ Z0 z0 r' e0 srobots.txt写法如下：
( ?* W, G& `3 ~ @8 yUser-agent: Baiduspider. c# }7 A1 t. a$ K& i3 W
Disallow:/ ]$ d5 M. m' A* K1 i) m
User-agent: *
; N) P0 m% c5 F2 rDisallow: /$ ^" H. P. x$ l: Z6 j- u
7如果我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话
) F; V) V* l; l) Brobots.txt写法如下：+ }0 [( d- a% ~. Q! U
User-agent: * F' Q0 S$ |9 d2 o0 h" ^
Disallow: /css/
- t2 J& l5 ^6 y* M5 l9 iDisallow: /admin/7 [. i" n" f6 M6 f: `
Disallow: /images/
( h- W7 g/ H+ |/ Y2 h$ |8 W; D8如果我们允许蜘蛛访问全讯网(http://www.ffffm.com/)的某个目录中的某些特定网址的话1 \3 x6 ?+ c5 u6 U- n/ Q
robots.txt写法如下：1 @0 Y" g: E* m0 p; {
User-agent: *
% ?. J1 e; g2 c7 P8 n- M7 V( l7 kAllow: /css/my: K F* @ O7 I1 `5 L% }: f5 x
Allow: /admin/html6 k# a0 c! C* G( g+ N: ~
Allow: /images/index. q5 O P: E6 e0 D
Disallow: /css/
9 `9 y$ M! a& P. LDisallow: /admin/
9 _7 a2 J9 _' S$ y3 j+ g! ^: @, z. NDisallow: /images/
9 \6 k8 d6 J" C( G9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，如果使用“*”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。
9 N8 W0 `( c0 m; O- ?robots.txt写法如下：
/ h: t I; c0 {0 AUser-agent: *
9 n X' s, P; q5 ^. J6 D; S7 H3 {4 c8 QDisallow: /html/*.htm, ~1 Q5 Q2 l' y1 P
`8 Q. R+ o. I/ X: o
转载请注明：www.52yyji.com" Q3 |1 {- z: R) |
|
