1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。2 Z- f8 u/ W7 n) x$ [4 p! k
robots.txt写法如下：: F3 y$ [# @6 \. a7 x
User-agent: *
5 y7 f# o* Y5 B3 y/ rDisallow:) a/ J* l7 i5 _2 @$ p
或者
6 X4 J3 w+ m5 I8 h U' fUser-agent: *; t; s. F3 C: d. K2 p
Allow: /3 @& Q+ w* u s. V9 S) W5 o4 W
2如果我们禁止所有搜索引擎访问网站的所有部分的话: l! y0 q9 D9 ]% m' Z
robots.txt写法如下：
5 }/ B, k" L) zUser-agent: *
1 t# y4 |: P# G6 }) C# T8 pDisallow: /
- O: R' o# Y; c8 R( U9 |3如果我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话
% ^. f- @1 U7 h$ v) Rrobots.txt写法如下：
: ?& o! x6 C. S r9 oUser-agent: Baiduspider
/ P/ B% j9 i- u) z$ K2 }$ b& IDisallow: /
2 ?" n5 e' a' h9 F- M. L6 R. w }* z4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot
5 u" ^! p4 z9 I& y0 M/ \. S即可0 E% u0 D- B- U$ ^' k. z x
robots.txt写法如下：0 j; y' M" M" P7 F' k" N: @
User-agent: Googlebot
0 D8 T3 s) [( K' ?/ MDisallow: /1 L' s- j5 g( y+ o/ `5 c
5如果我们禁止除Google外的一切搜索引擎索引我们的网站话
$ Q0 o( Y3 O# y8 x3 S* l; srobots.txt写法如下：
4 G5 x! `5 U" r9 E- B& GUser-agent: Googlebot# S+ w- B' J6 ]9 r' D
Disallow:
9 w& v o$ s$ z2 n& K ^5 tUser-agent: *
. @2 d v# h+ o/ h& X. G3 RDisallow: // |& }* l% B: ]; l t" y
6如果我们禁止除百度外的一切搜索引擎索引我们的网站的话- g* \; _* A2 U9 f
robots.txt写法如下：
9 z5 U- c* P1 E% z- w; a- TUser-agent: Baiduspider5 K9 P& M( _% g6 ]3 f
Disallow:
# p. \- [. a/ _% ` {User-agent: *6 d3 h5 r5 `. F: G6 y9 S
Disallow: /( a4 W6 U) p/ H3 f9 @/ D
7如果我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话
) w9 x. Z S, ]/ p2 |3 \( Vrobots.txt写法如下： ^" T2 h) u2 I3 b
User-agent: ** F& _- n6 ]( _9 t* r0 a0 b3 H* P
Disallow: /css/3 c$ j" l! L+ i" \6 N
Disallow: /admin/
1 i3 e. z6 p$ XDisallow: /images/
/ }( N& p ~2 E" v. p8如果我们允许蜘蛛访问全讯网(http://www.ffffm.com/)的某个目录中的某些特定网址的话
4 n9 o$ ]. _% ^( L1 @ }robots.txt写法如下：! i% f2 Z8 ~6 N' F
User-agent: *
9 j# K: D V9 r% O& H: LAllow: /css/my6 v& W, s; W" L% R! ^1 i
Allow: /admin/html
& G' f0 P9 S/ [" X1 pAllow: /images/index
9 H- K3 [4 C8 S1 x* e. k) u) {+ l& EDisallow: /css/
" r% I" Q- _; H% `$ UDisallow: /admin/ o2 f% J0 ^6 V
Disallow: /images/$ M0 `( f/ f' ?. U- M. S
9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，如果使用“*”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。/ L5 Z C; _: k( P
robots.txt写法如下：$ j/ [& @2 ?3 Y; ^
User-agent: *
# ? d: Y- J. W7 v' vDisallow: /html/*.htm
& a2 {2 E1 ~) ?# d6 P( {5 V7 e, a( e
/ Q. ]) p2 V/ u" m, x9 Q f# [转载请注明：www.52yyji.com
, e# J/ O, w4 g2 x' D |
