怎样理解robots.txt
+ w$ j7 D0 O9 g& Y: \3 U N% L; n: k: Y' Q
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
5 Z! r3 d8 w4 H; n2 G
8 ~0 B8 m9 A+ l- W robots.txt的使用方法
' \9 j; f0 p/ {- h8 p3 F# i! s3 K9 N' l3 }9 f2 ]: B* E! P$ J2 |+ x
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：
/ W+ N; P! v8 U4 G1 F, I
9 Y3 J, ~; K0 T "<field>:<optionalspace><value><optionalspace>"。
" _2 P3 o5 f4 c' ?9 I% H
% X/ ?- k B! ?9 |/ a1 A' ] 在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow和Allow行，详细情况如下：- y: _$ V; s1 S1 t0 ^! N
* Q* S& `+ f0 o" ^! c! r User-agent:
) K, P5 }' Q: v# i9 u' ~3 ~
+ q8 g% R6 W, x: |! `: E$ R 该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则对任何robot均有效，在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中，加入"User-agent:SomeBot"和若干Disallow、Allow行，那么名为"SomeBot"只受到"User-agent:SomeBot"后面的Disallow和Allow行的限制。* Q0 V% w3 L$ r; w D7 |
( V0 q; l v) O( j5 g Disallow:
& k4 f' j9 D5 m
/ [; U+ {2 g! N4 H! V, s/ V; W% s2 I 该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html，不能访问/help/index.html。"Disallow:"说明允许robot访问该网站的所有url，在"/robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。 Z) [. k( z: z5 f
1 X" |& ~+ }' a S" b/ } Allow:8 ?' `" n2 v S! x; ]; W# `
% `; M" w+ A0 U8 e1 v; w0 }0 z5 ^ 该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。: B' c/ J8 ?0 E0 S5 i5 L
5 _2 p0 x e0 H8 b' S3 W0 }
需要特别注意的是Disallow与Allow行的顺序是有意义的，robot会根据第一个匹配成功的Allow或Disallow行确定是否访问某个URL。
Y, L/ P/ h4 {9 G) A3 t
! U6 T1 d1 J" H- s- A, d 大家医疗投资管理集团有限公司 http://www.dajiahk.com
3 ] F, n1 d& |) b5 \
2 [7 R0 g. X1 g- ^8 P, f. [, \ 八五医院 http://www.85ebh.net( l) I' k* U7 K; Z( S1 k6 U7 r% h
; U0 H3 G6 ~: w" M; g$ L5 p 使用"*"和"$"：3 y3 g& Q/ ?- J: e$ s; I1 j
2 t S! o+ ^1 a' a' c Baiduspider支持使用通配符"*"和"$"来模糊匹配url。+ K0 c' v2 [; S2 _8 G6 q) e
F& v# q5 ?# w7 n% M5 o, Y7 c
"$" 匹配行结束符。
+ H$ ]: T& Q7 K8 O5 ]6 u0 S8 @; D/ V; }( C! f9 p+ K F" K) F0 [
"*" 匹配0或多个任意字符。 |
