robots.txt写法大全和robots.txt语法的作用

1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。
& C2 }$ c% B- [' Brobots.txt写法如下：
) n5 a+ E1 p* M- [User-agent: *
Disallow:
8 {. r& Z" S$ P$ y% ]* K或者
. R) b6 R$ }; [User-agent: *
5 A4 d9 n4 }, R* aAllow: /
2如果我们禁止所有搜索引擎访问网站的所有部分的话
7 a! M) G7 F# P- N& crobots.txt写法如下：
. a  @; A, z* P; iUser-agent: *
Disallow: /
3如果我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话
robots.txt写法如下：
: a% o$ Y/ E& n% j% YUser-agent: Baiduspider
Disallow: /
4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot
  I1 W7 B4 I  v5 X2 r即可
! d, z/ w( c1 t  zrobots.txt写法如下：
User-agent: Googlebot
9 a. _; n# P6 IDisallow: /
5如果我们禁止除Google外的一切搜索引擎索引我们的网站话
0 ?5 u1 o7 J" w1 m  s+ frobots.txt写法如下：
- p2 j' ?; i1 o8 DUser-agent: Googlebot
Disallow:
8 N9 y) l0 {7 y5 p2 t2 oUser-agent: *
) P; a6 C/ k4 rDisallow: /
6如果我们禁止除百度外的一切搜索引擎索引我们的网站的话
* R* h# M8 Z$ P6 n) k, a5 Zrobots.txt写法如下：
User-agent: Baiduspider
Disallow:
8 `" D. {( z! I5 o; o2 O. a4 L, K  vUser-agent: *
Disallow: /
7如果我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话
robots.txt写法如下：
User-agent: *
Disallow: /css/
Disallow: /admin/
- @* k( z2 _5 K8 TDisallow: /images/
  y; ]. n8 ?! {8如果我们允许蜘蛛访问全讯网(http://www.ffffm.com/)的某个目录中的某些特定网址的话
6 E; U) C2 O; a0 [" Y, Drobots.txt写法如下：
0 u5 u8 L& Z5 O: nUser-agent: *
9 S3 ?& `2 H  ~" y- l" A/ OAllow: /css/my
Allow: /admin/html
Allow: /images/index
, x9 [# B: @: r. h3 }% xDisallow: /css/
Disallow: /admin/
Disallow: /images/
9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，如果使用“*”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。
robots.txt写法如下：
User-agent: *
' D5 t& ?- l0 y0 M' O9 B  JDisallow: /html/*.htm
- @( u2 D, a+ A4 Z: O5 I& {0 X+ v( F
* B) ~& ~! v2 H  g, q转载请注明：www.52yyji.com
1 M# G8 a! \- ?' W) d

这个分享太实用了，刚好能用到，感谢楼主！