1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。. F' R9 v) g' G/ Q+ H
robots.txt写法如下：
3 Q! o# L U8 E( w/ u. TUser-agent: *- w/ ?9 x" H& s' K: ]7 Q% {; e
Disallow:1 O9 W. N* c5 X: C) B1 ]* n
或者 D" s& b/ }3 ]9 W% U0 O
User-agent: *4 @& h# i* P! V9 J. ?
Allow: /
) S' W. U+ s( x2如果我们禁止所有搜索引擎访问网站的所有部分的话
2 y$ [) ^5 t1 w, H& E3 m6 |$ L1 Urobots.txt写法如下：
: J# C2 ? }0 h Z$ @User-agent: *+ q! k) {; G& C& h7 x+ C" C7 v0 v
Disallow: /, n, ?% c) ?. F8 e
3如果我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话
9 s N6 P2 M3 @7 Z Frobots.txt写法如下：# x& M; H4 Q7 z+ w9 W
User-agent: Baiduspider. b1 t6 t* h/ n9 [3 R G( H/ c+ {
Disallow: /
5 Z( Z8 M% _6 | t/ v4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot, e- z3 q) G+ L* E6 j1 Q4 b, m
即可
. J+ K: Q( G2 {/ Probots.txt写法如下：% A4 `2 E& l* w1 Z8 {! R. e
User-agent: Googlebot; I3 C9 `7 N/ b4 |- G3 G, t) B
Disallow: /# B6 f* A6 x/ x" h/ L8 c. P
5如果我们禁止除Google外的一切搜索引擎索引我们的网站话
. [- o _; g, drobots.txt写法如下：) |+ L7 w( Z3 x8 b
User-agent: Googlebot
* A0 d3 @) Q' R2 ~5 GDisallow:
% | s8 w7 X- R& p- oUser-agent: *
3 m$ ]' i+ t8 A: _# B8 s7 nDisallow: /
' V0 P6 H- J9 Z! B6如果我们禁止除百度外的一切搜索引擎索引我们的网站的话! x) i* Y0 j* I' _" G- C4 `
robots.txt写法如下：( H* t. p/ E* W- h h S
User-agent: Baiduspider, L% U6 o- a# W3 w
Disallow:" s1 Z+ Q, y B/ H# y7 G% ^' a, i2 `6 V
User-agent: *
/ `$ {" b( B. I3 W& LDisallow: /, i: N3 x8 Z, l9 [! g* L" |
7如果我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话! l# l) P1 [5 J+ `! _
robots.txt写法如下：
! y1 {! X0 ^" |1 G/ RUser-agent: *
a0 M5 E* J. \( b4 _# PDisallow: /css/) v: a* ?6 X2 V1 n
Disallow: /admin/' f9 [5 M& P, O! `$ O
Disallow: /images/
/ e8 E4 } M( @3 F9 O/ f8如果我们允许蜘蛛访问全讯网(http://www.ffffm.com/)的某个目录中的某些特定网址的话0 l7 B! [: a' _7 U: {
robots.txt写法如下：* W5 A1 @8 U# P0 j2 |& U1 w
User-agent: *# Z8 i5 u- p& V4 `* N0 |- @1 _
Allow: /css/my( z. I1 n& Q/ Y
Allow: /admin/html7 i% q' a, P$ B4 i- K! a# n5 @; v* y& ^# i
Allow: /images/index
, E6 `/ B [1 ~ y' Y4 j! }% U' Z1 jDisallow: /css/. h" F* U! r+ t; B
Disallow: /admin/% S0 t) r, @3 d* c
Disallow: /images/
; i. H/ e( t* R% s$ C/ O9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，如果使用“*”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。6 m l( C8 N& R* z; d
robots.txt写法如下：6 d: D+ W9 k1 i8 @" R/ N
User-agent: *8 L! d5 S. I- X' _ O% I
Disallow: /html/*.htm
1 V4 i9 J8 b$ j; R7 c
4 n) E) {9 U u6 _/ [转载请注明：www.52yyji.com
) d$ [, i) m+ v4 U |
