热门需求search.zbj.com/task/
. B; C. Z3 {' o+ j T4 H: L
! F6 @5 F) C9 F8 O8 n( Z' T 搜索引擎三巨头支持的robots文件记录包括：8 T9 x# |" z: M7 ` [
/ J& s, f9 Z8 `7 a+ C. |# w Disallow – 告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件：
% \ P& k7 } W1 A$ R
n) P1 p9 j' m0 t. O4 k User-agent: *: O! u, Y' b3 ?% g1 X+ q3 U
; C* w' [9 I) X* x, R0 N1 G% {' N Disallow: /1 q% G; e' S6 R; {9 c7 ~' f" m
8 `/ Q5 W. z8 l( t+ g4 x: z# W
Allow – 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用，可以告诉蜘蛛某个目录下，大部分都不抓取，只抓取一部分。如下面代码将使蜘蛛不抓取ab目录下其他文件，而只抓取其中cd下的文件：+ V! t% R# [$ U O
5 i( ^0 B/ ]% X6 V' Q User-agent: *
+ {( R, e/ V+ T7 G9 x% L
/ k2 H) @3 j1 f* \5 E Disallow: /ab/
! _ F a- m$ ^# K& P* A b+ S# L' y1 b0 n/ b) k1 S6 L
Allow: /ab/cd5 D5 i" q. a% g
8 k% W( F( f2 y( H/ M. n. y
$通配符 – 匹配URL结尾的字符。如下面代码将允许蜘蛛访问以.htm为后缀的URL：
! b: c2 y# P, I/ R
_/ k% ~) D( t [2 E9 ^ User-agent: *
: Y9 ?, e i' X/ X- L: z1 q2 d( r* r+ h! J i+ e
Allow: .htm$& M* V/ h2 e7 p: B
% s& H: q( ]) ?" c
*通配符 – 告诉蜘蛛匹配任意一段字符。如下面一段代码将禁止蜘蛛抓取所有htm文件：
( L8 B3 n$ a& I" }
7 \+ ]& O( X$ Y4 n# ] User-agent: *; o& O- b' b+ _9 q6 _" h1 ^5 q
, h0 s. l& l6 G0 J1 h Disallow: /*.htm, T! o9 n) s! G
" I. h7 h4 h! l( o Sitemaps位置 – 告诉蜘蛛你的网站地图在哪里，格式为：
3 ~6 p: A( Z3 }& [- c' J, W
, Z: h5 `* T8 Q2 t5 J" s Sitemap: <sitemap_location>
2 F( e* F( @/ F7 q3 U+ V) o1 d" o
3 F1 `+ \, x! p3 b1 U2 N 三家都支持的Meta标签包括：
! S: _# Y7 `: E3 m3 z0 X% J6 S
. h' c% L( Y2 e0 o% p- S7 y NOINDEX – 告诉蜘蛛不要索引某个网页。
* @6 P: O% Y/ }% I% Q
7 b7 }( N+ r, w: z. \: w NOFOLLOW – 告诉蜘蛛不要跟踪网页上的链接。3 X0 i" [" z+ n q f7 m0 Q8 S
& z, `) J; w: Q2 L, N5 E: n NOSNIPPET – 告诉蜘蛛不要在搜索结果中显示说明文字。
! B6 g' r: \( Q! I" [
& O x/ X. M1 w2 l1 P+ J# g NOARCHIVE – 告诉蜘蛛不要显示快照。' {% t- \, d' V1 @/ ^4 d" u9 c
& J8 a2 E7 O3 R5 g3 b. f NOODP – 告诉蜘蛛不要使用开放目录中的标题和说明。
6 a! K: m2 @/ q* t# u- r
7 a! ?/ W/ H$ ~7 K1 S 上面这些记录或标签，现在三家都共同支持。其中通配符好像以前雅虎微软并不支持。百度现在也支持Disallow，Allow及两种通配符。Meta标签我没有找到百度是否支持的官方说明。
& z7 p; `) B! b' |$ H9 h. a; n/ D0 [% d2 m( s
只有Google支持的Meta标签有：( |$ y! i' y$ z1 O& l+ B& h4 A
/ U( l8 l" N4 n4 X9 w$ O UNAVAILABLE_AFTER – 告诉蜘蛛网页什么时候过期。在这个日期之后，不应该再出现在搜索结果中。- w) D: L5 m, w. q9 T
$ l+ u. Y0 k! W3 L: | NOIMAGEINDEX – 告诉蜘蛛不要索引页面上的图片。+ K2 [$ C* a: l
. x; h* K0 m5 _$ J: n, _ NOTRANSLATE – 告诉蜘蛛不要翻译页面内容。
Y: D6 A$ N0 J8 P4 P+ A% E; Z" p
/ O( g( R! z: U' r5 w 雅虎还支持Meta标签：
+ D$ p3 z! u; T
8 U) ^) B5 u0 f- u6 z) H Crawl-Delay – 允许蜘蛛延时抓取的频率。
* T8 k; Y% K0 n0 C& u3 V) j$ [
NOYDIR – 和NOODP标签相似，但是指雅虎目录，而不是开放目录。
/ A1 w/ ?0 U3 W$ V6 o+ ~( q$ K4 n8 s+ V* L$ p3 K% J5 B$ u0 K# W
Robots-nocontent – 告诉蜘蛛被标注的部分html不是网页内容的一部分，或者换个角度，告诉蜘蛛哪些部分是页面的主要内容（想被检索的内容）。
; J2 V2 X- }3 k$ h/ `8 l4 @, r* N( c* U6 Y; Y J
MSN还支持Meta标签：
/ b. t/ l: f5 g9 K- Y0 f$ q* ]+ T+ g
8 F' A. { ~. m, d: y9 ? Crawl-Delay
1 w# ^. L/ Y1 |7 E1 K* p
* W! j1 u' ]! U a 另外提醒大家注意的是，robots.txt文件可以不存在，返回404错误，意味着允许蜘蛛抓取所有内容。但抓取robots.txt文件时却发生超时之类的错误，可能导致搜索引擎不收录网站，因为蜘蛛不知道robots.txt文件是否存在或者里面有什么内容，这与确认文件不存在是不一样的。1 G, {* E5 v7 r& ^
5 ?3 T& }( m$ W% G- d8 D
|
看到0回复的主题马上点开，粘贴复制要一气呵成，这就像开车，要油离配合。最后要有坚强的抗压能力。
