robots文件禁止收录使页面质量更高
robots文件主要是为了防止搜索引擎收录和索引特定的页面。减小复制内容的出现。如seohu.net，同时具有动态URL和静态URL，它们同时指向相同的页面。如果搜索引擎同时收录就会造成复制页面。1.robots文件放在哪里
robots文件放在网站根目录下，搜索引擎进入网站查看的第一个文件就是 robots文件。 robots文件是规定搜索引擎抓取范围的文件。如果我们希望网站某些页面不被抓取，只需要创建一个 robot.txt，写入禁止收录的页面并上传到网站根目录下。
2.robots文件怎么写
robots文件由记录组成，记录之间以空行分开，记录格式为：<域>可选空格><域值><可选空格>
如： User-agent
Disallow:/
这面的这个robots文件代表禁止任何搜索引擎抓取网站任何页面。只针对百度蜘蛛则用：
User-agent:Baiduspider
针对谷歌则用：
User-agentooglebot
如下面的robots代表禁止百度抓取动态URL和文件夹temp下的文件
User-agent:Baiduspider
Disallow?*
Disallow:/temp/
其中*为通配符，可以代表任何一段代码。详细匹配可以看：
Seohu:主流搜索引擎都支持robots文件禁止收录机制。但如果有外部链接指向禁止收录的页面，这个页面还是可能出现在搜索结果中。其表现形式一般为导入链接的锚文字显示为标题和描述。本文写的很简单，如果还想深入了解，请在后面回帖留言。我会给大家解答。 很不错，感谢楼主的分享 ﹃錯愛 发表于 2012-7-16 10:23 static/image/common/back.gif
很不错，感谢楼主的分享
有必要的好东西 大家一起分享比如本站就屏蔽了动态的URL 因为最近才屏蔽 所以收录一时间停止了 不过有大家的支持,我相信,很快就会回来的哦!
学习到了，之前一直没注意过这个点，受教了
页:
[1]