robots文件主要是为了防止搜索引擎收录和索引特定的页面。减小复制内容的出现。如seohu.net，同时具有动态URL和静态URL，它们同时指向相同的页面。如果搜索引擎同时收录就会造成复制页面。
; f4 u" B3 R3 g4 O$ ^' `& O( c& |3 g4 |$ r) P6 g# ?6 x3 j: U
1.robots文件放在哪里
# J/ ^1 J n3 U% d6 s. T9 S/ ]* n& ]( h$ ]; V3 D
robots文件放在网站根目录下，搜索引擎进入网站查看的第一个文件就是 robots文件。 robots文件是规定搜索引擎抓取范围的文件。如果我们希望网站某些页面不被抓取，只需要创建一个 robot.txt，写入禁止收录的页面并上传到网站根目录下。0 v1 ]8 }. q$ n& D' d& y
) l6 B+ s2 f, [
2.robots文件怎么写( c; R! K5 b, [0 v
4 h1 A/ K! `, H; f
robots文件由记录组成，记录之间以空行分开，记录格式为：<域>可选空格><域值><可选空格>
! K+ u* B* a a4 m( p5 }9 }, R: n6 Q$ ~: {9 T
如： User-agent
4 }! w1 K, D) z8 X9 W# W8 ~
" h! Y( S3 F- d Disallow:/
2 Z& _5 J6 s( N: D5 v
5 v4 a3 W0 @9 d; g- b 这面的这个robots文件代表禁止任何搜索引擎抓取网站任何页面。只针对百度蜘蛛则用：) \( K* V+ `, \# s4 b1 v
7 ` Q( \8 g" b! K4 ~ User-agent:Baiduspider
) P4 f- E r8 c' K1 }0 ? S' {5 c c* S
针对谷歌则用：
3 k* Z; X$ f; V2 s, ~
& j, }+ N$ ^2 a User-agentooglebot; v. h7 _% Y+ L# |9 _6 d5 G8 [4 J
/ Y' w' t$ u' p1 e
如下面的robots代表禁止百度抓取动态URL和文件夹temp下的文件- V& M7 j$ d) @- A# ]
0 ~- Z3 E" W) D4 W6 W+ p1 d/ b- \! M
User-agent:Baiduspider2 h: {. S& o* f. z
# m2 d7 A) K* @; ]- Q* A
Disallow?*
, S; H6 s7 ?: z+ z+ g5 Y9 h6 i% \5 v4 ]+ _
Disallow:/temp/! x2 h1 l' ^# d! K3 P
0 L, I& P. d, f4 G( E+ F
其中*为通配符，可以代表任何一段代码。详细匹配可以看：3 H1 D" \. M( ?4 ] l3 Q
( h. W8 S2 a9 k
Seohu:主流搜索引擎都支持robots文件禁止收录机制。但如果有外部链接指向禁止收录的页面，这个页面还是可能出现在搜索结果中。其表现形式一般为导入链接的锚文字显示为标题和描述。本文写的很简单，如果还想深入了解，请在后面回帖留言。我会给大家解答。 |
