1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。
8 u, ]7 A* n# c4 V, ]! i1 Yrobots.txt写法如下：2 C! ?' x K0 d* }) Q
User-agent: * a1 D& S4 k1 s
Disallow:& e5 ]8 p+ ?9 D* d/ M. b8 |* e
或者
+ P& \6 r4 h+ z* vUser-agent: *: W5 ?; C& \3 F# C7 ?
Allow: /
0 a' [0 r* s, a( `& {. n5 r2如果我们禁止所有搜索引擎访问网站的所有部分的话2 F7 h7 b6 S# F8 B9 N0 J
robots.txt写法如下：: |2 z4 E e/ Y: M
User-agent: *, S, s( o1 e2 q( I
Disallow: /
" M# j: x- ]" @. ^3如果我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话+ X4 V8 e- t7 D# Y3 s) Q
robots.txt写法如下：
! l6 b& d( i X p6 G% M) O6 C7 cUser-agent: Baiduspider
: X) g" w4 V) ]0 s( C wDisallow: /
8 }! F r6 y, M# |+ y* O1 u4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot
8 V: u8 n0 U, }% x8 n5 G即可 x$ B) F7 z( m$ C
robots.txt写法如下：2 W( C; u% h8 [1 W. h8 q( l+ M+ q
User-agent: Googlebot) M9 @" e% n: Q5 {$ Y; I1 d; ]8 ~
Disallow: /
$ D) w# @1 R- E: F# p6 B7 y3 `7 [5如果我们禁止除Google外的一切搜索引擎索引我们的网站话6 J) g( N" ]( f$ I% t
robots.txt写法如下：0 d" p0 d7 `& ]2 y# W
User-agent: Googlebot1 h; U2 N) j9 i: H9 _# ], m
Disallow:/ {1 j; a7 L' w7 q7 v7 @
User-agent: *
! i( M, l4 X3 j& tDisallow: /
0 I2 {: I& \" b9 k2 B: q" H6如果我们禁止除百度外的一切搜索引擎索引我们的网站的话
1 j5 L4 n, q6 h6 Drobots.txt写法如下：
! ?' n' X' q' q0 C* F% Q; a: RUser-agent: Baiduspider
# g9 B. O: S( d6 c# pDisallow:
1 C2 x$ o# v5 m' mUser-agent: *! Q' R9 y/ w' U
Disallow: /
6 w( m* M. E) F/ F7如果我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话3 p7 l+ y0 h' [; e
robots.txt写法如下： V8 J5 g( q9 n( h
User-agent: *
; e1 q5 [- @ Q# Z4 c% s( `Disallow: /css/* o/ ~+ s& x% J# P
Disallow: /admin/5 ?6 m6 t0 u& C
Disallow: /images/# |; X! x1 U$ |. T0 d. Y2 I4 O: \ N
8如果我们允许蜘蛛访问全讯网(http://www.ffffm.com/)的某个目录中的某些特定网址的话& w; q$ N% Q! I8 N# J
robots.txt写法如下：" H/ I+ F: q! X H3 o- \. g; C
User-agent: *
. p* U7 o3 F6 |! {Allow: /css/my$ @% L: r. P1 d: Z
Allow: /admin/html$ x7 L" F; J' K9 ~- j
Allow: /images/index
# _# j& {0 _8 b; m- N- i7 _+ H+ mDisallow: /css/6 B6 w9 u- t* w `" q0 i8 u! j
Disallow: /admin/7 N/ g) j7 d' x
Disallow: /images/* B2 i: h3 U% c/ }0 E
9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，如果使用“*”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。; |8 X/ M- R& G" W) K% v
robots.txt写法如下：
4 [1 E' \5 A2 EUser-agent: *
) y% R% g) b; O- t) | Y1 F1 {Disallow: /html/*.htm2 ^1 p9 \/ U/ h: c) F8 @" v; V9 Y
4 L1 w. ~: H0 r* X" Q6 l& R
转载请注明：www.52yyji.com Z/ Y# |' t% x$ ]' [8 K M0 ?
|
