robots.txt文件怎么制作

在谈到这个话题，首先我们要了解下这个文件的作用：
7 m- `. ^) ~7 C  Y/ d( w        　　robots.txt文件的存在主要是为了规范搜索引擎的一些行为，也就是说这个文件里面写的内容就是搜索引擎应该遵守的一些规则。
$ q+ [4 C+ u5 X' z        　　因此做SEO做优化的朋友，对予这个文件都是相当熟悉的。
        　　在接下来我们了解下这个文件的制作方法：
        　　正常我们是先创建一个文本文件，取名为robots，txt这个则是扩展名，默认的就是，所以不用修改它。
        　　接下来的就是写一些规则，首先我们先参考几个大站的这个文件，如淘宝的是屏蔽百度的所有收录。所以它的规则是：
User-agent: BaiduspiderDisallow: /User-agent: baiduspiderDisallow: /        　　而百度的robots.txt则是如下的内容：
User-agent: BaiduspiderDisallow: /baiduUser-agent: *Disallow: /shifen/Disallow: /homepage/Disallow: /cpro        　　含义是不让百度自己抓取根目录下baidu的这个文件。而其它搜索引擎则是不要抓取shifen与homepage这两个目录和cpro这个文件。
! \  {; [/ l6 Q! t        　　因此制作这个robots.txt这个文件其时也很简单，明白了“Disallow： /”是屏蔽所有的意思，文件名称加/的是屏蔽抓取当前目录的意思，没加/的则是当前文件的意思。如果有几个文件中间是一样的，前后不一样的，而且很多都要屏蔽，那么可以以*作为代替，把中间相同的字符写上，前后用*表示即可，如：
# w. q/ J2 T- w/ J1 Z- N        　　Disallow： /*htm*
4 D# @  [" ^% [. B        　　另外本篇提到了另外一个问题，那就是承包给别人制作的时间要注意检查这个文件下，为什么呢？
        　　因为制作网站的人很多时候还没做好搜索引擎就收录了，然后他们又一直修改，这样对网站的权重是相当不利的。因此他们的屏蔽是为了在制作未完成时不被搜索引擎抓取。但做好后，有些时候会忘了，或者由于其它原因又没开取。
        　　因此当我们接手的时候，记得要开起，以免推广了很长的时间，搜索引擎确没有任何的反映。
电暖气 http://www.qfxinda.com/

# y& a* |% A8 O# P
6 C3 X. b; O. [; D
) h& z7 c3 W" |

{:soso_e121:}学习学习，楼主你辛苦啦

这个分享太实用了，刚好能用到，感谢楼主！

完全赞同，我也是这么认为的，英雄所见略同～

这个思路很新颖，打开了新世界的大门，谢谢分享

说得很实在，没有夸大其词，这种真实分享太难得了

学习到了，之前一直没注意过这个点，受教了