robots文件禁止收录使页面质量更高

　　robots文件主要是为了防止搜索引擎收录和索引特定的页面。减小复制内容的出现。如seohu.net，同时具有动态URL和静态URL，它们同时指向相同的页面。如果搜索引擎同时收录就会造成复制页面。

1 O& ?! o) K$ C5 q* u& |　　1.robots文件放在哪里

0 V9 l0 V" l. i5 e* u% T- Y' ^　　robots文件放在网站根目录下，搜索引擎进入网站查看的第一个文件就是 robots文件。 robots文件是规定搜索引擎抓取范围的文件。如果我们希望网站某些页面不被抓取，只需要创建一个 robot.txt，写入禁止收录的页面并上传到网站根目录下。

　　2.robots文件怎么写
; q% p8 i/ g# }' E5 _5 n2 o3 d
　　robots文件由记录组成，记录之间以空行分开，记录格式为：<域>可选空格><域值><可选空格>

　　如： User-agent
2 E& w! k( @' s
　　Disallow:/
9 v6 r3 I' ?/ Q2 ^
　　这面的这个robots文件代表禁止任何搜索引擎抓取网站任何页面。只针对百度蜘蛛则用：

　　User-agent:Baiduspider
' m$ V6 d( [8 r: O
' X3 V4 P# o* q* m+ {! Y1 P2 A　　针对谷歌则用：
8 O3 q+ x0 {* G# b2 D+ D5 Y; I
  W2 m+ ^! z5 J  u　　User-agentooglebot

" E  ~) T2 {" X& p( {　　如下面的robots代表禁止百度抓取动态URL和文件夹temp下的文件
2 b7 k6 z3 E- g, U8 ?: g
6 b# x7 ^$ n- _$ z: G4 @　　User-agent:Baiduspider
4 [; D. e0 q, |
5 G4 X! N; ]1 S: C' V! k, y) f　　Disallow?*

　　Disallow:/temp/

2 K4 h+ ~" T6 d" @/ O　　其中*为通配符，可以代表任何一段代码。详细匹配可以看：

　　Seohu:主流搜索引擎都支持robots文件禁止收录机制。但如果有外部链接指向禁止收录的页面，这个页面还是可能出现在搜索结果中。其表现形式一般为导入链接的锚文字显示为标题和描述。本文写的很简单，如果还想深入了解，请在后面回帖留言。我会给大家解答。

很不错，感谢楼主的分享

﹃錯愛 发表于 2012-7-16 10:23
. j9 |* ^- A, E- M, @很不错，感谢楼主的分享

有必要的好东西 大家一起分享  比如本站就屏蔽了动态的URL 因为最近才屏蔽 所以收录一时间停止了 不过有大家的支持,我相信,很快就会回来的哦!

学习到了，之前一直没注意过这个点，受教了

说得很实在，没有夸大其词，这种真实分享太难得了

分析得很透彻，很多细节都说到点子上了～

刚好遇到类似问题，看完这个帖子心里有底了