robots.txt写法大全和robots.txt语法的作用

1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。
2 S0 Z, z! R- [8 {robots.txt写法如下：
User-agent: *
Disallow:
/ D  ^) `6 H* f8 l2 x/ `6 d# U6 V& S或者
User-agent: *
Allow: /
' [( B1 W/ }1 r# ]2如果我们禁止所有搜索引擎访问网站的所有部分的话
robots.txt写法如下：
User-agent: *
Disallow: /
$ w3 Y7 H5 ?+ K% o+ ?3如果我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话
1 W+ G( P$ u- Q' S  G# K. u( frobots.txt写法如下：
User-agent: Baiduspider
Disallow: /
4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot
! f. ^. o- ]6 L- }即可
% P1 ^+ A0 Z7 j& \; a7 r/ qrobots.txt写法如下：
User-agent: Googlebot
$ g: [! i+ a& P+ PDisallow: /
+ @, q4 H$ m+ ?% D4 w; w7 G5如果我们禁止除Google外的一切搜索引擎索引我们的网站话
: J9 i5 w7 v  t5 Arobots.txt写法如下：
# d' {6 G$ L; bUser-agent: Googlebot
9 E. q( R& f/ J; L) h: `Disallow:
! L( Y& {) g/ n4 @# PUser-agent: *
2 m8 l' y) i* CDisallow: /
  c) E8 Y* `9 C* z6 m! E6如果我们禁止除百度外的一切搜索引擎索引我们的网站的话
robots.txt写法如下：
; v8 l: M; q8 `( |User-agent: Baiduspider
9 z' U! W! c- dDisallow:
- S1 `/ U6 W$ P8 G2 pUser-agent: *
" Z; G( H4 E2 y: c( KDisallow: /
; P  A# [1 N! K4 k' k* C9 H7如果我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话
robots.txt写法如下：
User-agent: *
# ?1 L9 ]8 H  ADisallow: /css/
Disallow: /admin/
/ q7 J$ m! R+ J8 W5 cDisallow: /images/
8如果我们允许蜘蛛访问全讯网(http://www.ffffm.com/)的某个目录中的某些特定网址的话
robots.txt写法如下：
User-agent: *
6 c; R$ }# l: ?9 b+ |Allow: /css/my
Allow: /admin/html
& r( K: N) l8 S2 x0 XAllow: /images/index
+ u9 t& ]. L- G0 f  Z/ WDisallow: /css/
1 Y- W( w' Q% E' ^8 {Disallow: /admin/
Disallow: /images/
; u7 D0 p( l4 d8 A0 h- ]& X9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，如果使用“*”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。
robots.txt写法如下：
User-agent: *
Disallow: /html/*.htm
# a2 W+ E2 W  K
转载请注明：www.52yyji.com

这个分享太实用了，刚好能用到，感谢楼主！

内容很干货，没有多余的废话，值得反复看

楼主太厉害了，整理得这么详细，必须支持

这个思路很新颖，打开了新世界的大门，谢谢分享

楼主辛苦了，整理这么多内容，必须点赞收藏

分析得很透彻，很多细节都说到点子上了～