1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。
+ F5 X& |* m0 K0 h8 wrobots.txt写法如下：
9 M3 t) m" j4 a K* C2 j0 sUser-agent: *
9 ^: s8 K, ~$ o, H I/ N$ a) wDisallow:, f* }+ j' L/ i! Y- q
或者+ d1 W& P9 R8 u7 D
User-agent: *
/ A/ Z+ c, {; f+ J+ m e& W h/ RAllow: /6 x, m" u' o. B# y! O
2如果我们禁止所有搜索引擎访问网站的所有部分的话" A Y, q$ ]+ U. o* A
robots.txt写法如下：
/ A& x% u; ^; [0 I. O2 U! UUser-agent: *
. n( a5 J) `4 {' IDisallow: /
+ @) W/ f3 _' y* L# _5 n2 q3如果我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话0 H, g; p; N5 g- Q
robots.txt写法如下：- M- N z6 y! q5 i2 V0 `! `5 p
User-agent: Baiduspider
: U# b, S- N- m- a) Z6 hDisallow: /
: q G8 C# i3 N0 U. \9 T% v4 n2 w4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot
5 f8 h5 E( V C/ U# L3 t即可. Y, i6 {& P+ \! C6 D# k+ P
robots.txt写法如下：
% W5 [' K: E: GUser-agent: Googlebot% d% J8 [( _6 g; |
Disallow: /
$ |. Y6 d& c! |$ W: ^6 K9 u# G5如果我们禁止除Google外的一切搜索引擎索引我们的网站话
3 ~, x4 i. p6 c7 R* \" z9 Q/ Erobots.txt写法如下：
& a0 J* r4 Y2 M6 ?( rUser-agent: Googlebot
5 ?: ^# Y8 k/ J) _* Y w, N4 @Disallow:
# \: J) l7 r6 z+ F8 g2 KUser-agent: * W) z2 C- O W
Disallow: /
* z% p* j# d/ X5 w" y6如果我们禁止除百度外的一切搜索引擎索引我们的网站的话9 m( z1 Z) P3 B8 z
robots.txt写法如下：8 Q5 }3 U5 y# M) H
User-agent: Baiduspider1 S# I! T, Q1 V$ |
Disallow:
( ^9 d& f4 a5 D9 e7 B* e9 yUser-agent: *, S9 Q, L8 ?- v7 t4 S& M
Disallow: /$ y1 H! y0 U' }1 X. \2 f
7如果我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话
) Y. B; v7 K$ D0 drobots.txt写法如下：
2 [- ~% a) t$ \8 Q6 m" L: l1 _/ MUser-agent: *8 [4 m; {: n3 h
Disallow: /css/1 q% c2 X: v% O& g3 \" H
Disallow: /admin/4 C9 a+ H" a' m: Y6 o0 E1 t$ n
Disallow: /images/% F1 `; ]7 i4 ?! }
8如果我们允许蜘蛛访问全讯网(http://www.ffffm.com/)的某个目录中的某些特定网址的话
5 J) n! @% k7 }# ~9 o( Zrobots.txt写法如下：
2 P% |: e% Y) r$ L8 JUser-agent: *
) E! }+ w( I. Q, v0 l/ i0 zAllow: /css/my
- j* n" q0 k) P6 S& w Z) ?Allow: /admin/html* K6 H6 O; q/ d3 N2 M5 u/ r/ e
Allow: /images/index
5 T' k, h" G+ a) [# P6 q+ z2 m1 d \Disallow: /css/
6 [* w6 s/ h4 e7 N2 q/ d' e7 s' ?3 P2 vDisallow: /admin/
$ ]- P) Q- K3 M0 G6 y+ o! tDisallow: /images/
' f$ M: d8 @8 n4 |/ K9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，如果使用“*”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。
% |( A/ _- p3 [8 L% }) i L: _. Vrobots.txt写法如下：
2 y- [# r- M6 G& T' fUser-agent: *
! F- c! ` v5 Q" b, vDisallow: /html/*.htm/ q! H# r @ P
X- h+ ]: }9 X! h
转载请注明：www.52yyji.com, g- Z: g7 x" C: z! ?
|
