robots.txt写法大全和robots.txt语法的作用

1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。
robots.txt写法如下：
( _3 b" y( M" lUser-agent: *
Disallow:
或者
User-agent: *
Allow: /
2如果我们禁止所有搜索引擎访问网站的所有部分的话
) F! U3 \% j) Drobots.txt写法如下：
# g+ j. b+ e2 M. T2 X* {( vUser-agent: *
0 I/ q; _) Z9 q/ y2 ]- A- |; UDisallow: /
7 X/ l1 B, m& {  n. R7 b3如果我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话
1 A" @) }2 r$ Y' m# c2 ?4 drobots.txt写法如下：
9 v+ n' B  @5 k6 X" a& ZUser-agent: Baiduspider
8 ^( U- W* w7 k; CDisallow: /
) g6 @1 V# V' G2 X4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot
即可
# x1 v* d, |+ Z! crobots.txt写法如下：
% p" @: S& A( [4 ?/ X0 iUser-agent: Googlebot
+ I" }3 E7 z0 D$ j2 ~" zDisallow: /
5如果我们禁止除Google外的一切搜索引擎索引我们的网站话
robots.txt写法如下：
User-agent: Googlebot
8 R2 F5 x* ~7 MDisallow:
User-agent: *
Disallow: /
0 M% C/ m- }$ M' I  u5 w  L" f6如果我们禁止除百度外的一切搜索引擎索引我们的网站的话
robots.txt写法如下：
User-agent: Baiduspider
: y2 r- V2 u% B1 O' T9 b, BDisallow:
+ f2 X& j- ?5 \/ ^/ ]/ p# ]User-agent: *
  f1 A# x! W6 _& J5 m  VDisallow: /
* z3 h+ j" `) u' c7如果我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话
8 ^3 _" U: m8 y* {robots.txt写法如下：
User-agent: *
1 H( b1 E. w% I6 RDisallow: /css/
% n0 M- g4 z; S. }# Z/ p- [- sDisallow: /admin/
$ I, }4 q0 X5 T! eDisallow: /images/
5 K. j& A$ M+ }$ Z2 Q+ P" o6 ?( q8如果我们允许蜘蛛访问全讯网(http://www.ffffm.com/)的某个目录中的某些特定网址的话
) c" _6 G! t3 G- K4 j' Vrobots.txt写法如下：
6 F, s/ ^8 X/ s6 gUser-agent: *
  n) V; l4 [5 X" k3 ]1 xAllow: /css/my
7 ]3 o. F) ^' T, p5 e* hAllow: /admin/html
Allow: /images/index
Disallow: /css/
. z2 ?$ H: _5 F0 @Disallow: /admin/
  S' k; d. P* a; F) ~  @+ c3 O0 NDisallow: /images/
9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，如果使用“*”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。
7 p! U) O" u! V" c4 b, R0 _2 A" a3 Mrobots.txt写法如下：
User-agent: *
' D- C+ X6 F9 Z1 B8 f" @Disallow: /html/*.htm
4 P; D1 J$ k- Y* M' t& ?- `4 \
9 y; y6 D( N1 `( y& u) n转载请注明：www.52yyji.com
7 M. p5 |' F6 v* ?7 {# t7 h