热门需求search.zbj.com/task/( E3 \* A& W6 E( m
2 d1 _' v" ~* T% g, I+ r
搜索引擎三巨头支持的robots文件记录包括：4 `, I; w2 y- Y3 Y e/ s
" B9 L; y. l* @1 Z/ a( m; X S- \ Disallow – 告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件：
1 {# b$ `- a Z) B4 `/ Q' _' S5 H* G
& y j) Q& U# P( G6 g User-agent: */ v) n# I8 U7 q, s2 _
1 n& A- W) y+ }) ~; H9 {7 y. E Disallow: /, @& f& y5 L" V$ `
+ I# S. S& z( r! q Allow – 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用，可以告诉蜘蛛某个目录下，大部分都不抓取，只抓取一部分。如下面代码将使蜘蛛不抓取ab目录下其他文件，而只抓取其中cd下的文件：: e# [' K) ~* w4 e$ @5 _$ {+ ]3 W! Y
6 Y6 l( x1 L$ @. K; b User-agent: *
# Q6 s3 _/ [, R4 U, V, W5 |* j$ _# f/ q Q% E( ]" H
Disallow: /ab/
* X6 e/ z0 o! K- O+ c8 v- E
9 e7 f* \2 c& s2 m Allow: /ab/cd0 _' m) x% W* S) \" T0 M- @
v; }0 _6 T1 \' m/ P) G( s; k $通配符 – 匹配URL结尾的字符。如下面代码将允许蜘蛛访问以.htm为后缀的URL：& \: E( P Y$ S6 ^! s& t: {# G( n
) a1 E- J# J) m5 C( Q2 Q User-agent: *
2 Y1 ~* n5 R" C' D2 R1 j8 e, z; @' J0 R, I4 M
Allow: .htm$5 q$ @! ?4 S& S1 A
5 j& t. k$ V% f- U( }$ z' i1 E *通配符 – 告诉蜘蛛匹配任意一段字符。如下面一段代码将禁止蜘蛛抓取所有htm文件：
% O/ N: B/ U, h7 s% h+ d
9 c% }3 Y% G! q User-agent: *) g2 ]* Z& D1 o; t
* L9 y. U2 J3 x' b Disallow: /*.htm$ N8 \/ A* G) j/ b8 X& M0 M
0 Z% i& ^9 E8 |0 ] Sitemaps位置 – 告诉蜘蛛你的网站地图在哪里，格式为：3 E3 K% w9 X2 \$ w; H; ]
/ O9 G6 t' U& q s8 J
Sitemap: <sitemap_location>0 X4 S( A2 ~! \; T" T. A8 C. k
! \) I9 _- `1 Z# W/ d 三家都支持的Meta标签包括：* ~) c- j/ w3 f# E% F3 T: T' l/ e
9 k, V* z4 H: H$ S* g* o NOINDEX – 告诉蜘蛛不要索引某个网页。+ u Z$ o1 T6 N: \
+ m* i J2 p3 Y2 n, e% c; U4 X4 N, W NOFOLLOW – 告诉蜘蛛不要跟踪网页上的链接。
$ {- a+ v9 [; Z2 J9 g% v8 L6 t# h2 q3 _/ G! {- Q8 s
NOSNIPPET – 告诉蜘蛛不要在搜索结果中显示说明文字。
( `' d& e9 Y/ @6 R' {& p% \
/ I1 p0 E! ~1 _5 D6 l$ z8 s! K& o NOARCHIVE – 告诉蜘蛛不要显示快照。5 t1 X M, _ F
/ C0 g# y9 U% {2 I
NOODP – 告诉蜘蛛不要使用开放目录中的标题和说明。
, l/ d) f/ ]' H& h
- c6 I$ n3 X7 p: z+ j 上面这些记录或标签，现在三家都共同支持。其中通配符好像以前雅虎微软并不支持。百度现在也支持Disallow，Allow及两种通配符。Meta标签我没有找到百度是否支持的官方说明。3 @- H8 w0 O; ]# B9 o* }
$ s0 h" ?$ U: E* L5 a" m 只有Google支持的Meta标签有：* }* W3 l: b$ Q9 u$ g* U5 J
' \3 @# u' n' k% U# i UNAVAILABLE_AFTER – 告诉蜘蛛网页什么时候过期。在这个日期之后，不应该再出现在搜索结果中。
# T, U& \. i0 G; B& D
3 F0 X7 N) S3 j: O NOIMAGEINDEX – 告诉蜘蛛不要索引页面上的图片。) U7 [: [& D* a) B: o, n% K
# P0 c+ |4 V% J( l
NOTRANSLATE – 告诉蜘蛛不要翻译页面内容。
. k0 R9 J- o4 X5 @2 J
2 V5 U* w2 `* d! f6 m1 D0 @2 D 雅虎还支持Meta标签：, Z" m. u b: j) n: ~- b. x9 ~& N$ W
T% Y/ V$ V5 f1 ]% t, N. X0 p: o0 C
Crawl-Delay – 允许蜘蛛延时抓取的频率。) I' h- A$ }5 @& ^7 c5 D
) ?/ O) z" Y3 L5 o- m: `9 i* r NOYDIR – 和NOODP标签相似，但是指雅虎目录，而不是开放目录。. [4 [8 [) C# ~% y/ T
+ [- h/ q1 ?' S Robots-nocontent – 告诉蜘蛛被标注的部分html不是网页内容的一部分，或者换个角度，告诉蜘蛛哪些部分是页面的主要内容（想被检索的内容）。
) r [4 l8 S- {" E7 n6 S4 ^4 D$ q
1 {* z; c, c6 {0 x6 G3 m' C7 h6 e MSN还支持Meta标签：$ i5 C( p4 s9 B- M% }: f$ i
/ H* l" j; X% I9 c+ l Crawl-Delay" Z9 P: i' `! ?' g3 G1 q0 u" \. y
% I/ [# m- A3 y# @+ f0 X 另外提醒大家注意的是，robots.txt文件可以不存在，返回404错误，意味着允许蜘蛛抓取所有内容。但抓取robots.txt文件时却发生超时之类的错误，可能导致搜索引擎不收录网站，因为蜘蛛不知道robots.txt文件是否存在或者里面有什么内容，这与确认文件不存在是不一样的。! u+ J" B/ \' ~7 s5 v) b5 w6 j
9 n) x* g* E7 `9 C/ l
|
看到0回复的主题马上点开，粘贴复制要一气呵成，这就像开车，要油离配合。最后要有坚强的抗压能力。
