1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。
; Y5 V5 d- o5 I$ y [robots.txt写法如下：" n( w' t( m. m. ~- `( u' _8 u
User-agent: *" Q! ]) P* k. f5 l3 ~; o4 N
Disallow:
* D, o6 H, R5 ]4 F或者5 c$ g+ J* e$ A \/ S |) J
User-agent: *
) h+ g! X! f6 f/ [2 G5 FAllow: /
( o( D6 J+ I- L. t* L. ~) s2如果我们禁止所有搜索引擎访问网站的所有部分的话
& l t1 c, j: \' p( s) j# J, x) srobots.txt写法如下：9 ^1 R4 | P' v T, }
User-agent: *( _( ~4 i; j+ y! k+ I
Disallow: /
0 a: E9 X V+ y3如果我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话
0 @1 H, X p- {3 [: s2 T3 G4 C/ Grobots.txt写法如下：6 L2 l. H( J0 C
User-agent: Baiduspider
- n b8 z+ }5 J1 i! p/ MDisallow: /# E) p# \- @! ], ^. i+ q# E0 O. ^3 h, I
4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot/ h) n( C, _' f2 u/ y5 |
即可& M/ T! U- }: |4 |) Z* u% _
robots.txt写法如下：
- y& |/ u& T, q9 TUser-agent: Googlebot) {$ Y4 i! f3 p5 f( ], x* i
Disallow: /
& {0 P/ {5 I* ^% D7 g$ ?5如果我们禁止除Google外的一切搜索引擎索引我们的网站话 A/ y) |9 s5 S4 k: Z
robots.txt写法如下：* u2 I& g0 s0 U, A
User-agent: Googlebot) s( h+ i2 `5 X5 {6 h/ ^
Disallow:
! B, R5 e' M7 g# sUser-agent: *
9 {5 s8 G: t6 E; Q' g- @6 u* RDisallow: /
; p5 U: l9 k# V* P/ ^0 D0 o6如果我们禁止除百度外的一切搜索引擎索引我们的网站的话+ N( E6 a' D. L+ b& T
robots.txt写法如下：
& p @$ l9 W. x! v$ z* O6 {2 Q5 AUser-agent: Baiduspider8 d$ F) F7 `" d8 N
Disallow:
. s1 j0 u: q! r; |: QUser-agent: *2 {. I- }2 D9 p
Disallow: /
) L0 ]9 A: c1 w( W& s$ w2 g# d( K7如果我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话4 q( `/ f" e; X
robots.txt写法如下：* K/ d. S9 I2 i# T( u1 y/ Z
User-agent: *7 {" Z* b) n+ q$ w! j) H4 |/ M
Disallow: /css/% l! a4 [! t& B
Disallow: /admin/2 q8 z% O" i" J' {
Disallow: /images/
' j1 X3 N# |' J+ j8如果我们允许蜘蛛访问全讯网(http://www.ffffm.com/)的某个目录中的某些特定网址的话6 _$ S9 m! ]5 s. ]% g. S" ]
robots.txt写法如下：
8 ]) J: A3 z- J; o4 s" }User-agent: *
4 d) [* h4 u& l JAllow: /css/my* K: f+ a$ z! u* g
Allow: /admin/html% S0 [$ f9 u. J; O3 u1 S# _5 L6 k
Allow: /images/index
' m' O* ~ g$ S. UDisallow: /css/2 p; R0 W7 ?9 x
Disallow: /admin/7 L4 u) J8 i0 r
Disallow: /images/
; I0 j) R& D9 M' y7 ~6 c8 K' b1 L9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，如果使用“*”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。0 a+ f. C1 q- Y% g! Z3 Y( l. }
robots.txt写法如下：
8 [' M9 d" y! {( V3 ]User-agent: *
+ L, I7 v4 x. p, l) R. e; r- W/ {: z% IDisallow: /html/*.htm6 Q$ N: ^ q- ~( U; q
W$ U' R4 J8 H7 u G转载请注明：www.52yyji.com- h7 V9 @" h4 p+ D% ?" _' H7 a# D0 _
|
