二岁:让你5分钟学会如何写Robots.txt协议

　　robots是什么?
, G7 U0 \% n0 {  G　　二岁的回答： robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件，文件名必须是小写的”robots.txt”。
' C$ A+ Q( n4 u- c* B: A' a- S　　robots有什么作用?
　　二岁的回答：通过robots.txt可以控制SE收录内容，告诉蜘蛛哪些文件和目录可以收录，哪些不可以收录。
　　如何写robots.txt
+ O5 V2 L% L0 ~0 W4 D4 c5 i9 c　　用几个最常见的情况，直接举例说明：
- H8 Y2 U  r  ]$ p　　1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
　　2. 禁止所有SE收录网站的某些目录：
1 Y# |! B9 Z1 K5 B$ ^　　User-agent: *
　　Disallow: /目录名1/
　　Disallow: /目录名2/
2 Z- E% ^+ {/ Z+ o　　Disallow: /目录名3/
　　3. 禁止某个SE收录本站，例如禁止百度：
. c4 c' I0 W' [/ ]+ `- v　　User-agent: Baiduspider
6 S0 ]: I4 E+ t; @- C/ l& I　　Disallow: /
! P5 \- Q' ?; i　　4、文件夹的使用：
　　知识重点：/ 单一的斜杠代表根目录，辅助使用。
" e9 T+ N# O" ^: w! _　　Disallow：/seo-dt/ 和Disallow：/seo-dt的区别
  X- s3 |  @! u- Z" [　　Disallow：/seo-dt/禁止搜索引擎抓取改网站的/seo-dt/目录
　　Disallow：/seo-dt不但禁止搜索引擎抓取改网站的/seo-dt/目录，还能够禁止所有已SEO开头的目录和文件名。
9 R# u8 d+ d" L0 X1 F( W　　5、语法的使用:
- e4 k1 x; G* j# P6 M$ L" z$ D　　冒号后边要有空格，语法第一个字母要大写。
8 s8 Q4 t: I# f8 n" Z8 p7 ^7 z% K: V本文转自于：http://www.laoliseo.com/

内容很干货，没有多余的废话，值得反复看

刚好遇到类似问题，看完这个帖子心里有底了

这个思路很新颖，打开了新世界的大门，谢谢分享

楼主辛苦了，整理这么多内容，必须点赞收藏