1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。
2 }* E1 M e; o' O+ h9 Lrobots.txt写法如下：6 } i3 g; l! J1 z) U4 F
User-agent: *9 C* X7 z- h d1 W. C. ?
Disallow:
7 g( X& v6 w3 ]- a或者
! b' _ p7 H+ x" H- u6 q/ w7 X0 XUser-agent: *
5 d8 w% ^2 A0 \/ @" CAllow: /
3 i" G: X2 X9 c, c2如果我们禁止所有搜索引擎访问网站的所有部分的话 g1 |* C- z x1 b4 f
robots.txt写法如下：& O+ U, j) z9 I4 D! D. O
User-agent: *) V0 r% P( W6 @, _' ]
Disallow: /4 }% N: a2 m* ~0 O& k2 |* p- P0 z
3如果我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话. J5 R' m" Z5 ~& v3 ^2 t
robots.txt写法如下：3 X- b4 d% {- ^5 W! ^% D
User-agent: Baiduspider
1 n! U/ F( o" J1 C0 F; ADisallow: /% O3 l0 Y& z, V
4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot. a6 @1 {$ U; ]5 `* L
即可
" }% V4 h; M* s. v% _! |2 grobots.txt写法如下：8 o$ B& Q: Y& l! i9 M& [
User-agent: Googlebot A0 [5 H* \5 {* S
Disallow: /
$ o: ^4 L5 t4 f* ^5如果我们禁止除Google外的一切搜索引擎索引我们的网站话
1 a' I2 E, L' A8 F/ G( D! drobots.txt写法如下：
; P. s ~; Q4 Y8 pUser-agent: Googlebot
. y' t. O4 K. K. x |, @. JDisallow:9 [: O0 V* L; Z. Y7 U- k8 S
User-agent: *8 {" J9 {" _( K/ X8 U/ P
Disallow: /
7 B3 y2 z$ K: T. F, H0 \( n6如果我们禁止除百度外的一切搜索引擎索引我们的网站的话# ]7 L. X% F- q7 S( y, \" Z: a7 ?4 H
robots.txt写法如下：
4 i6 }4 L) z" _$ H# ]+ vUser-agent: Baiduspider& s4 a' t3 C) E+ _
Disallow:
% s) H. d& O5 a# O! eUser-agent: *
6 {, R$ p, `5 V) w: m3 }8 xDisallow: /- A% q. O2 h* B! M# S! ]( v f8 d
7如果我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话
- k% d7 S7 L" x6 w8 f0 Z& urobots.txt写法如下：
6 d# b' d2 G3 MUser-agent: *: Q8 k! j4 \- u1 s
Disallow: /css/* w- |& r3 G6 x
Disallow: /admin/9 N" Q. q: c9 `* [
Disallow: /images/
6 P$ q* b: N7 L4 D- Y* \8如果我们允许蜘蛛访问全讯网(http://www.ffffm.com/)的某个目录中的某些特定网址的话
5 j% g7 V) e7 M" d0 mrobots.txt写法如下：8 r& r% E+ ]/ }" C# X
User-agent: *+ g6 s1 ^- t: R! }* y, g
Allow: /css/my
% D( k& p8 r5 \" b# @Allow: /admin/html. y! S/ b! }" X, Y& A
Allow: /images/index
' i* g+ H- d" o" hDisallow: /css/
) g8 ?2 o# s! o' E ]# x/ ADisallow: /admin/
+ w- w' G! k L* c; H, j& xDisallow: /images/
' Y3 E: A# f$ b w: n( x9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，如果使用“*”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。' }- J0 H/ ]# |% Y" t
robots.txt写法如下：" H4 m9 u' u3 n0 q& i
User-agent: *$ q+ n( ~7 Z4 ~% ?' |' n0 k
Disallow: /html/*.htm
- F; N/ w2 k: k1 O9 o4 b/ i+ j K) e
# h( ]0 @$ a4 {- U: T( j0 `转载请注明：www.52yyji.com1 E _, c9 e3 _* [/ m
|
