1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。
' Q- Z2 {1 }& s2 \; d2 y! mrobots.txt写法如下：! t5 R- c* I) O ^! K0 h J# e
User-agent: *. b. U7 }0 \! ~3 D& r
Disallow: \9 t7 m7 W, o7 s5 Y
或者
$ x7 Q& K L; U/ j2 |( A, Q" `4 M6 EUser-agent: *
6 Z4 X0 W1 C5 T) @% I% ^, T% T& u3 W0 \Allow: /1 F. m/ r; Q. b' d
2如果我们禁止所有搜索引擎访问网站的所有部分的话0 q D! d) {$ X1 T$ Y
robots.txt写法如下：9 k. C* p. G1 s- p# `2 m
User-agent: *
% c* A0 p. n8 \: ~! |Disallow: /0 y* g. x) g% a& U% D( s+ t
3如果我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话( ^; I, q! ]" L
robots.txt写法如下：
. p8 b1 Z; f8 r j0 ?+ iUser-agent: Baiduspider! y" z0 R0 q/ {& N8 k! O
Disallow: /0 Y$ X5 S0 b" @0 a4 Q. a
4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot9 V; h$ c7 }# N7 [2 Z
即可
# R; l* l7 [5 q2 U1 O/ h- Irobots.txt写法如下： t1 v! N/ N6 V$ \+ S
User-agent: Googlebot! v7 f! H8 [3 V. o' d# r) V1 Z% _
Disallow: /% G$ `9 [/ u/ Y; x, W! \% }. o
5如果我们禁止除Google外的一切搜索引擎索引我们的网站话
- k, |( s0 s m) f) V9 X* Irobots.txt写法如下：3 R( ^& z' N$ \) r
User-agent: Googlebot0 h$ K g$ }& y' ^! t8 H2 V
Disallow:
( m4 U, C G8 c$ a: gUser-agent: *
9 ^8 b- t i+ k; A3 z+ bDisallow: /
7 H2 i, d: V% Q6如果我们禁止除百度外的一切搜索引擎索引我们的网站的话8 P" k0 d: T6 [, z
robots.txt写法如下：
4 r! t, \& @* f, j& ~) u6 dUser-agent: Baiduspider
: o+ V* v2 N0 z( xDisallow:
; Z* n' d( x# {/ r, E( wUser-agent: *
6 G# m4 J: D$ C0 G. \Disallow: /% K, ?( n- T e
7如果我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话
: F- t' a3 ^5 X) ?+ P. f q1 srobots.txt写法如下：. u5 C" \6 }* }% J' x
User-agent: * r/ G! D( x, [ k* D& }' w" f
Disallow: /css/4 Z! ?$ [- x: @ N- G
Disallow: /admin/
/ l% E+ N- k: U. p' rDisallow: /images/+ d# L+ D4 ^ r
8如果我们允许蜘蛛访问全讯网(http://www.ffffm.com/)的某个目录中的某些特定网址的话
1 f: T. f, P2 Urobots.txt写法如下：' E" a4 q) n, ?# w8 S D
User-agent: *
, ~8 P9 l" [4 e) GAllow: /css/my: Y) ?" b, S5 g6 Q1 }! G" M
Allow: /admin/html
# M1 o0 t7 D+ SAllow: /images/index
9 m0 f# }( I* p( RDisallow: /css/9 _) U7 x$ o' P d0 c
Disallow: /admin/% K E! M' f# v- Y. O
Disallow: /images/
1 m+ n V3 \( M& Y# S9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，如果使用“*”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。1 {, r8 B, _: p: Q2 r, S
robots.txt写法如下：! s0 v+ c. H8 o0 a& V/ K" ]2 q6 Y
User-agent: *, y6 P' u9 k& e. j7 V
Disallow: /html/*.htm
% R `% m0 x! S v) e/ O3 e2 \2 w
- A0 W/ X8 P% d# b- m转载请注明：www.52yyji.com
0 w( J' ^# ^9 w |
