robots.txt文件怎么制作
在谈到这个话题，首先我们要了解下这个文件的作用：robots.txt文件的存在主要是为了规范搜索引擎的一些行为，也就是说这个文件里面写的内容就是搜索引擎应该遵守的一些规则。
因此做SEO做优化的朋友，对予这个文件都是相当熟悉的。
在接下来我们了解下这个文件的制作方法：
正常我们是先创建一个文本文件，取名为robots，txt这个则是扩展名，默认的就是，所以不用修改它。
接下来的就是写一些规则，首先我们先参考几个大站的这个文件，如淘宝的是屏蔽百度的所有收录。所以它的规则是：
User-agent: BaiduspiderDisallow: /User-agent: baiduspiderDisallow: / 而百度的robots.txt则是如下的内容：
User-agent: BaiduspiderDisallow: /baiduUser-agent: *Disallow: /shifen/Disallow: /homepage/Disallow: /cpro 含义是不让百度自己抓取根目录下baidu的这个文件。而其它搜索引擎则是不要抓取shifen与homepage这两个目录和cpro这个文件。
因此制作这个robots.txt这个文件其时也很简单，明白了“Disallow： /”是屏蔽所有的意思，文件名称加/的是屏蔽抓取当前目录的意思，没加/的则是当前文件的意思。如果有几个文件中间是一样的，前后不一样的，而且很多都要屏蔽，那么可以以*作为代替，把中间相同的字符写上，前后用*表示即可，如：
Disallow： /*htm*
另外本篇提到了另外一个问题，那就是承包给别人制作的时间要注意检查这个文件下，为什么呢？
因为制作网站的人很多时候还没做好搜索引擎就收录了，然后他们又一直修改，这样对网站的权重是相当不利的。因此他们的屏蔽是为了在制作未完成时不被搜索引擎抓取。但做好后，有些时候会忘了，或者由于其它原因又没开取。
因此当我们接手的时候，记得要开起，以免推广了很长的时间，搜索引擎确没有任何的反映。
电暖气 http://www.qfxinda.com/
{:soso_e121:}学习学习，楼主你辛苦啦 这个分享太实用了，刚好能用到，感谢楼主！ 完全赞同，我也是这么认为的，英雄所见略同～ 这个思路很新颖，打开了新世界的大门，谢谢分享 说得很实在，没有夸大其词，这种真实分享太难得了
页:
[1]