1如果允许所有搜索引擎访问网站的所有部分的话 我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。
' D( U( @& s* }. j O$ Vrobots.txt写法如下：4 d0 t% d+ @3 @9 ~
User-agent: *- @% f. X' Q* j" c/ N
Disallow:
! t3 U2 J, ~5 K3 v" s或者1 V- Y. o4 A/ ~, z1 c5 ^
User-agent: *
6 f' V. {5 z7 {0 E# i3 `" rAllow: /1 I. z6 {/ ?2 n: v4 y. `- \
2如果我们禁止所有搜索引擎访问网站的所有部分的话
! f3 K4 C! S9 w. q4 d# ]robots.txt写法如下：& k$ U) L: R3 r# g; ?
User-agent: *0 G8 S9 [. Y: o+ ]; M
Disallow: /
8 |7 e! q& t D$ g6 b5 r3如果我们需要某一个搜索引擎的抓取的话，比如百度，禁止百度索引我们的网站的话8 Y& q& o* M5 L1 e. M" s
robots.txt写法如下：
?& s7 R( q3 A9 |User-agent: Baiduspider
" A4 |" W3 u# M* o- Y' ?$ M4 nDisallow: /4 U$ T8 c: H3 w. L
4如果我们禁止Google索引我们的网站的话，其实跟示例3一样，就是User-agent:头文件的蜘蛛名字改成谷歌的Googlebot
# y4 O: p' e* ?8 `' i& q% d即可
3 t2 L n$ T' _1 N% O8 ^1 `8 ?robots.txt写法如下：* Y- W# v. p9 S- s+ W6 V
User-agent: Googlebot7 ~6 a' g2 M9 i% d% s; V2 J
Disallow: // m+ C" j1 @# I- O* i- \; q
5如果我们禁止除Google外的一切搜索引擎索引我们的网站话3 O _+ z1 Y* d* n5 y+ x0 S
robots.txt写法如下：
( Z. N# F, t+ o' X# M) VUser-agent: Googlebot) V8 f% Q, s, E+ X5 u
Disallow:) X% ~; O* L7 A; C
User-agent: *
* ^' D% A% V u, Q( y+ nDisallow: /
$ V) I& X5 s, T( o6如果我们禁止除百度外的一切搜索引擎索引我们的网站的话
, o% e; ^( f+ L! y: V j( f+ erobots.txt写法如下：) t0 }3 Z* _- x( A7 T( t
User-agent: Baiduspider
* z; _' h/ O; O, D8 a7 Q" ]Disallow:
! m6 X" i* V$ j- K1 AUser-agent: *
- p: U7 D1 _& U! F# `Disallow: /
2 v$ o9 B2 L8 c7如果我们需要禁止蜘蛛访问某个目录，比如禁止admin、css、images等目录被索引的话
+ Z, b/ t$ a& H0 C& @robots.txt写法如下：
0 y& b, K$ b6 d* E6 zUser-agent: *3 }$ U( j+ X% C. r( ~1 x" U
Disallow: /css/# s+ J0 z& G/ y2 a6 ^; L3 c/ S
Disallow: /admin/ ^0 x3 [3 i& \) i5 \
Disallow: /images/4 J5 P) v) J X3 [6 o' ~
8如果我们允许蜘蛛访问全讯网(http://www.ffffm.com/)的某个目录中的某些特定网址的话
" Z7 q3 G3 l$ c% K2 M1 E7 zrobots.txt写法如下：
; e8 U( M4 B3 @. }- d3 ]User-agent: *% @" C( x. A+ M7 O1 V9 m# s
Allow: /css/my
2 T u" ]8 e5 [+ h3 ZAllow: /admin/html
0 c8 n% K6 G- X3 W# YAllow: /images/index
( ?9 E$ A, j: \0 D5 [+ a' NDisallow: /css/
+ A6 W8 J4 `) x: O% m EDisallow: /admin/
; I; L$ @' u* x/ ], _: ] Y* SDisallow: /images/4 F' B; k* x c; I! q2 W
9我们看某些网站的robots.txt里的Disallow或者Allow里会看很多的符号，比如问号星号什么的，如果使用“*”，主要是限制访问某个后缀的域名，禁止访问/html/目录下的所有以".htm"为后缀的URL(包含子目录)。# @: [: s/ M' @& @7 A
robots.txt写法如下：6 T, f; l/ C7 v: P* l
User-agent: *# ~) S" z7 j4 ^% D8 ^. m: t- o2 Y- ?
Disallow: /html/*.htm
, a- b) \. j J8 _$ m) g! w$ a) O5 ]# \
转载请注明：www.52yyji.com; ~* O8 Q$ U% W
|
