热门需求search.zbj.com/task/
" P+ b4 e* C+ l! j% N" a! Y, s# n, G. ]! s5 l
搜索引擎三巨头支持的robots文件记录包括：
" X8 ~& P2 g7 b) o% F" Y- I/ W& S+ T+ s% F- h' o
Disallow – 告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件：
7 e0 \ o! @3 C P% ?) q! i7 {& y3 x8 p6 J0 \
User-agent: *: h- r/ q S. f# s3 W
9 ~- P2 b2 E, t$ J+ T, \ Disallow: /
3 f3 e9 a4 z8 w4 u7 @4 N1 y& u" i* V5 ?9 i
Allow – 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用，可以告诉蜘蛛某个目录下，大部分都不抓取，只抓取一部分。如下面代码将使蜘蛛不抓取ab目录下其他文件，而只抓取其中cd下的文件：/ O; I4 p8 w# `# o
( ?7 d( G7 n- c User-agent: *
. @% ]# p. _7 J: T5 q5 @( j* x( P5 j! d+ A+ Q: X2 a/ O) z i
Disallow: /ab/
$ w0 s5 b3 I2 n& v* H- u$ x% i" j: _
Allow: /ab/cd5 a4 m! x& X# ]. m; v
' k" _, A- e& n' P1 |
$通配符 – 匹配URL结尾的字符。如下面代码将允许蜘蛛访问以.htm为后缀的URL：* `! j1 |& [2 D2 \# `' Q
$ @' q5 l$ M) X7 R/ i User-agent: *
+ R$ [* Z& `$ x5 b8 m3 Z+ i; o$ o9 m- d
Allow: .htm$9 M7 d. X% ~1 L0 n+ Q6 |
; S' z" z( V G7 U8 [# A *通配符 – 告诉蜘蛛匹配任意一段字符。如下面一段代码将禁止蜘蛛抓取所有htm文件：
, E; J4 [1 S6 _& w
7 ^2 M" p& d2 ^0 S3 V# t) P User-agent: *
2 u: c8 @* T% l, { P; z* O7 s2 {2 b, G+ z
Disallow: /*.htm
& D" u2 n W2 `! C
8 S7 b. n2 {1 ^8 O" N( y$ p0 D! w1 @ Sitemaps位置 – 告诉蜘蛛你的网站地图在哪里，格式为：6 I0 Q0 R' {5 k9 S( U
0 B6 o$ ?: `0 k9 c" ? Sitemap: <sitemap_location>
* h5 V5 }# K+ k3 Y% f- E. i- E. e7 j
三家都支持的Meta标签包括：
; [: k4 z/ I/ `1 k8 \$ T: I" V7 G5 a: e: ]; k
NOINDEX – 告诉蜘蛛不要索引某个网页。
" ], f& Z0 A: b7 i" o8 k
) x* X. T6 T2 I8 J! p( {0 w3 G NOFOLLOW – 告诉蜘蛛不要跟踪网页上的链接。
% c* ]4 u& j1 @ B# D) j1 o2 ~& R" P# J# R
NOSNIPPET – 告诉蜘蛛不要在搜索结果中显示说明文字。0 @. K6 ^/ ?7 q' J( K# c5 v
- Z M( I2 q; L( l
NOARCHIVE – 告诉蜘蛛不要显示快照。
: ~# b3 U* }; w: c U9 Q! V3 G) o0 @. ?4 j1 S9 V
NOODP – 告诉蜘蛛不要使用开放目录中的标题和说明。, q+ p, x. [/ p5 F. q
# G& {' N+ Q0 i5 }
上面这些记录或标签，现在三家都共同支持。其中通配符好像以前雅虎微软并不支持。百度现在也支持Disallow，Allow及两种通配符。Meta标签我没有找到百度是否支持的官方说明。4 T! V# a {* h9 D6 x) C/ B0 e
6 D7 D% E7 v0 S* P6 |- {& t& t* O 只有Google支持的Meta标签有：( F8 q! o% {1 m( U
: }! g/ ^8 |; j. F3 o! g- X2 K5 T$ j
UNAVAILABLE_AFTER – 告诉蜘蛛网页什么时候过期。在这个日期之后，不应该再出现在搜索结果中。9 Q6 N ~- b0 C5 h! A& H
/ a' l: V; d8 G, C( G
NOIMAGEINDEX – 告诉蜘蛛不要索引页面上的图片。
' B) n- D: H. W5 f# p2 k3 z& ?- O% E) ?3 X" o. l0 D' g4 @3 O, _
NOTRANSLATE – 告诉蜘蛛不要翻译页面内容。
' Q3 n+ \( o. F# ~, K' ]" n
& Z! z: K/ k5 ~- D' v! R* n 雅虎还支持Meta标签：
- {+ t: q! b0 e0 C i. l
' {% b& o0 @' W Crawl-Delay – 允许蜘蛛延时抓取的频率。3 X J8 f7 h. ~; G; h( Z
& r+ H$ Z! O: Z( w+ A8 t
NOYDIR – 和NOODP标签相似，但是指雅虎目录，而不是开放目录。
% \7 A4 o W1 e+ E# `1 f) A! P
( h* a; s; B+ Z* y) b# B/ i Robots-nocontent – 告诉蜘蛛被标注的部分html不是网页内容的一部分，或者换个角度，告诉蜘蛛哪些部分是页面的主要内容（想被检索的内容）。
5 H. |6 ?( u& O" c+ }$ @9 `! D5 |9 P7 F q$ T* u- j
MSN还支持Meta标签：' i! D: L/ X+ N; Z
( e( ~4 o v' R. T7 u% A0 P Crawl-Delay
3 h0 @# W! |/ S+ B8 F' g# r) ]+ J+ y p( V
另外提醒大家注意的是，robots.txt文件可以不存在，返回404错误，意味着允许蜘蛛抓取所有内容。但抓取robots.txt文件时却发生超时之类的错误，可能导致搜索引擎不收录网站，因为蜘蛛不知道robots.txt文件是否存在或者里面有什么内容，这与确认文件不存在是不一样的。5 A. o( [% }3 U* A+ V$ s
$ x9 f# E; L- w! v, _. H, V |
看到0回复的主题马上点开，粘贴复制要一气呵成，这就像开车，要油离配合。最后要有坚强的抗压能力。
