robots是什么?
1 [$ k' }- g; \ 二岁的回答： robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件，文件名必须是小写的”robots.txt”。; X* h+ C' ], l: [' u8 @" t
robots有什么作用?
+ H8 e/ R' J: [, s! [6 c) j 二岁的回答：通过robots.txt可以控制SE收录内容，告诉蜘蛛哪些文件和目录可以收录，哪些不可以收录。
% L, {, M2 y. b* t" O- N/ r 如何写robots.txt
, ?) D3 E& x8 [5 k3 n 用几个最常见的情况，直接举例说明：& ]7 w1 s9 ], `* a- }( [9 N5 c
1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
0 J& x1 k" [0 M' N' m; n1 h 2. 禁止所有SE收录网站的某些目录：
$ a/ q' h$ C. d8 `% z1 y User-agent: *
A2 b4 w5 k/ p( I Disallow: /目录名1// y, K8 e2 I. y
Disallow: /目录名2/" V6 }9 V& F" ^! E' Q1 ^
Disallow: /目录名3/# U1 J: l* e# V8 r/ }- a
3. 禁止某个SE收录本站，例如禁止百度：
* |9 o& \. W( i% h" L% \ User-agent: Baiduspider" _/ s# W0 t, M p7 V. A
Disallow: /
& _: f5 {1 Q( J2 y6 L 4、文件夹的使用：! q# t n a ^# |& L( A
知识重点：/ 单一的斜杠代表根目录，辅助使用。) @1 j* g7 ]" o6 b+ e
Disallow：/seo-dt/ 和Disallow：/seo-dt的区别2 _; ~$ }4 o' C) p# Q1 g
Disallow：/seo-dt/禁止搜索引擎抓取改网站的/seo-dt/目录
& W- w s$ \' \: a Disallow：/seo-dt不但禁止搜索引擎抓取改网站的/seo-dt/目录，还能够禁止所有已SEO开头的目录和文件名。
7 N- T# y- y: \# O' | 5、语法的使用:5 }( x" |; j7 U; {' _. ~
冒号后边要有空格，语法第一个字母要大写。: f2 V2 z3 S& ^$ w7 c2 F
本文转自于：http://www.laoliseo.com/
/ F9 `- s( F3 B: I
P" z) ?! {, G" X( N |
