robots.txt写法大全和robots.txt语法的作用

1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。
robots.txt写法如下：
1 x3 J1 D" W4 P7 d: X$ b0 kUser-agent: *
2 ~! M. c6 S4 x6 q/ ?2 g6 MDisallow:
或者
) L# h1 Y( T" ^5 {User-agent: *
8 s% L/ ^) L- j+ K; N: m9 IAllow: /
2如果我们禁止所有搜索引擎访问网站的所有部分的话
/ M. W, i' L: S, G: d8 _) L6 wrobots.txt写法如下：
( A' T! g5 {7 D3 E* R9 _( {User-agent: *
4 K% f/ [( i1 r% V  L8 [/ ZDisallow: /
3如果我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话
robots.txt写法如下：
! k! W% M6 y2 r5 V4 Y! vUser-agent: Baiduspider
Disallow: /
) G) m1 c5 m# O  A4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot
( N, `: f. n6 A  M; A1 x5 \8 c即可
robots.txt写法如下：
! Y* F! V5 o  u  T, rUser-agent: Googlebot
. G0 O6 S+ v0 q8 ]# O$ z. ~Disallow: /
5如果我们禁止除Google外的一切搜索引擎索引我们的网站话
robots.txt写法如下：
# s3 v, J$ k6 t% {) Y+ f, XUser-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
: I1 j9 v. u# [* s1 F6如果我们禁止除百度外的一切搜索引擎索引我们的网站的话
robots.txt写法如下：
User-agent: Baiduspider
+ ]7 n( y" K- j6 q! }3 QDisallow:
* t5 |7 [! S! w: N1 ^User-agent: *
Disallow: /
7 T4 b2 D; p/ j) g3 L7如果我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话
, E. Y# k. }9 q/ M2 }$ Yrobots.txt写法如下：
9 ?8 S6 L- P3 j- M; b) RUser-agent: *
Disallow: /css/
0 n3 J3 `# R' \" @% ?Disallow: /admin/
Disallow: /images/
6 Y( a. X' w: j  Y& t# C8如果我们允许蜘蛛访问全讯网(http://www.ffffm.com/)的某个目录中的某些特定网址的话
robots.txt写法如下：
& Z2 Q+ D  N( y3 _  k: P3 gUser-agent: *
# J/ N7 l: Q1 K$ {6 f1 K" ~" {, T5 JAllow: /css/my
! j- w8 f' y1 z6 }8 f8 E" u% v4 R1 HAllow: /admin/html
Allow: /images/index
9 d' @  m# v$ aDisallow: /css/
Disallow: /admin/
& d! w7 Z6 m" x$ y; L- n( kDisallow: /images/
' k4 u5 ^+ R: _% E& o" A9 m: ^9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，如果使用“*”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。
) I9 r( h5 o( C, K# Grobots.txt写法如下：
+ {  W8 F- }8 p5 t- f; r3 T3 BUser-agent: *
0 Z7 Q  L3 ]! vDisallow: /html/*.htm

转载请注明：www.52yyji.com