1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。
" c* u$ d+ L# Grobots.txt写法如下：" {* b* l8 |8 C( Y$ k% s$ ~& @
User-agent: *7 E$ l; J& I/ l* _0 w
Disallow:4 \; P% E6 v4 Z) W; A
或者- T5 a4 ^ G: T, j' a W3 a4 i
User-agent: */ ]* s2 F" p. l8 n" |' J! g
Allow: /
: ]8 V3 \6 q0 X* T! S1 {/ O1 i2如果我们禁止所有搜索引擎访问网站的所有部分的话+ A/ }- U& u$ r1 U" p
robots.txt写法如下：! t9 K1 R' x5 m* x' K
User-agent: *, E1 Y( o# r i% o2 C& }/ Y" T# ?0 \4 o
Disallow: /* S) x# V8 d) f9 M
3如果我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话
: U( s7 L: M3 F* c# arobots.txt写法如下：5 A& ]* ^& t1 [" t. w
User-agent: Baiduspider
6 E3 R+ w, }' B& rDisallow: /; C8 k @0 o) N% y0 C. k
4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot: b" t, e" `1 N4 @" Q1 x
即可
3 q6 a. q5 P. i! L* Z" Brobots.txt写法如下：- s, J% S/ H4 C& o
User-agent: Googlebot$ A) m9 K4 A9 A. C
Disallow: /
1 j# v2 `( v1 \5如果我们禁止除Google外的一切搜索引擎索引我们的网站话: S, v) Y3 }2 `0 ~' R
robots.txt写法如下：8 l7 z+ ]% R- g$ Q$ v: p1 ?
User-agent: Googlebot$ p5 [, ?$ d! D$ z( o2 O
Disallow:& H% _( M: I. C8 R" K- j( U
User-agent: *; o2 }4 J; T4 {4 {
Disallow: /- S# s U9 Z! N) U" _/ m) {
6如果我们禁止除百度外的一切搜索引擎索引我们的网站的话
9 {6 ~$ ~3 m6 [$ {* grobots.txt写法如下：
8 v3 k. J8 K8 z( G5 cUser-agent: Baiduspider
) d8 Z/ E) s1 }5 g7 q& NDisallow:; u# B- u% M# n6 C0 o4 y
User-agent: *
6 ~6 s3 [$ B T0 B7 TDisallow: /
9 \0 p. {2 P4 J" S" i7如果我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话1 i6 G5 s3 d4 i6 w3 |: Y( \/ l. C
robots.txt写法如下： x% u4 U" Y+ s; u4 }6 r! U$ v
User-agent: *
5 s! n5 Q& t4 e: H ^Disallow: /css/
+ F. k* V1 Z/ rDisallow: /admin/
7 O( S0 m, P* a0 |8 Y3 w4 EDisallow: /images/
% \1 \6 w- C4 l) Y( d. O4 F( I8 w9 G8如果我们允许蜘蛛访问全讯网(http://www.ffffm.com/)的某个目录中的某些特定网址的话
8 J5 h& ^. _( ~. j- t$ wrobots.txt写法如下：( y- Z$ w, }9 ~- E
User-agent: *2 X0 V: E. S8 a" m5 N) {2 M
Allow: /css/my6 C7 S7 F& I" |* f* @7 y/ C' j" L5 _
Allow: /admin/html
' X" I0 V( o. j$ Y2 EAllow: /images/index
$ c- e/ k5 Q8 L9 g2 N- B" dDisallow: /css/
3 t1 N6 P3 \0 ?* \" X$ C" J) ODisallow: /admin/
" g, }% D0 C1 D; Z4 j3 X% X0 B) P9 s- o3 qDisallow: /images/5 E" Y$ Y: @$ P% g4 Q K7 V8 _* x4 ]
9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，如果使用“*”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。
% K0 ~& t( T& yrobots.txt写法如下：8 D) ]" r }8 N: V9 _$ }( P
User-agent: *7 R, h2 ~! C4 ]" B+ ^
Disallow: /html/*.htm
4 a+ r+ ^. | t/ H% O0 n
7 |: _0 N0 V# l转载请注明：www.52yyji.com) p/ a: n/ U" v1 E- Y1 |
|
