robots文件主要是为了防止搜索引擎收录和索引特定的页面。减小复制内容的出现。如seohu.net，同时具有动态URL和静态URL，它们同时指向相同的页面。如果搜索引擎同时收录就会造成复制页面。+ J9 d9 u/ j: Y
2 w/ j* ~6 s8 ~
1.robots文件放在哪里5 k% [! ^- d% n: @2 G
2 @7 T2 Q+ B& V& M1 W# N/ [$ @, R
robots文件放在网站根目录下，搜索引擎进入网站查看的第一个文件就是 robots文件。 robots文件是规定搜索引擎抓取范围的文件。如果我们希望网站某些页面不被抓取，只需要创建一个 robot.txt，写入禁止收录的页面并上传到网站根目录下。
# K8 }1 b+ C- C' Y) m9 e E/ t9 m" h& E( X$ ]' E0 P8 ^5 q3 ~" _
2.robots文件怎么写 @+ T. S; t) b1 m
, h7 I$ e4 R: x: E- V9 r
robots文件由记录组成，记录之间以空行分开，记录格式为：<域>可选空格><域值><可选空格>2 V! ~: A, ]$ U m
! m0 M/ S ]9 d5 p% g 如： User-agent2 ~4 ]% a+ G7 s% V* R2 m2 Y5 D# I
, D( ` F% F) z* x Z# w' _
Disallow:/
8 `) `3 p, h( r" _% C2 C
+ a3 t+ X% E. h+ n4 i 这面的这个robots文件代表禁止任何搜索引擎抓取网站任何页面。只针对百度蜘蛛则用：
2 s+ j: X0 V4 b) `: t3 H( w$ x& C- G& Q6 {. }! V; ~2 ]
User-agent:Baiduspider
6 U' d3 y* O# `- {1 v. w" |! u6 Q
针对谷歌则用：! J+ q0 V- D' r$ L! e# P3 h3 \+ U" b
# O' B' s% h# |( w. q' R/ } User-agentooglebot
2 h% V6 N& S3 u2 H& U" H j( K# E& l4 w( c6 k/ B
如下面的robots代表禁止百度抓取动态URL和文件夹temp下的文件- u6 ^8 U8 H3 D1 V$ |
% p# ^* u& D: b8 E9 q User-agent:Baiduspider
, w( M a' C$ E |5 j+ I( b8 f! Y; X& j! S4 b8 r
Disallow?*
$ k7 O, f6 H! v2 m, ~( D7 o& C/ w+ H; h4 y
Disallow:/temp/
* }6 z E) M9 T0 d+ p) p. f- A" B; m N* u5 `
其中*为通配符，可以代表任何一段代码。详细匹配可以看：
* ^4 n' D2 Y* S+ t( k4 _
) ^, m: e2 H3 E. X Seohu:主流搜索引擎都支持robots文件禁止收录机制。但如果有外部链接指向禁止收录的页面，这个页面还是可能出现在搜索结果中。其表现形式一般为导入链接的锚文字显示为标题和描述。本文写的很简单，如果还想深入了解，请在后面回帖留言。我会给大家解答。 |
