robots.txt文件怎么制作

天使在飞 · 发表于 2012-09-10 15:02:47

在谈到这个话题，首先我们要了解下这个文件的作用：
　　robots.txt文件的存在主要是为了规范搜索引擎的一些行为，也就是说这个文件里面写的内容就是搜索引擎应该遵守的一些规则。
　　因此做SEO做优化的朋友，对予这个文件都是相当熟悉的。
　　在接下来我们了解下这个文件的制作方法：
　　正常我们是先创建一个文本文件，取名为robots，txt这个则是扩展名，默认的就是，所以不用修改它。
　　接下来的就是写一些规则，首先我们先参考几个大站的这个文件，如淘宝的是屏蔽百度的所有收录。所以它的规则是：
User-agent: BaiduspiderDisallow: /User-agent: baiduspiderDisallow: / 　　而百度的robots.txt则是如下的内容：
User-agent: BaiduspiderDisallow: /baiduUser-agent: *Disallow: /shifen/Disallow: /homepage/Disallow: /cpro 　　含义是不让百度自己抓取根目录下baidu的这个文件。而其它搜索引擎则是不要抓取shifen与homepage这两个目录和cpro这个文件。
　　因此制作这个robots.txt这个文件其时也很简单，明白了“Disallow： /”是屏蔽所有的意思，文件名称加/的是屏蔽抓取当前目录的意思，没加/的则是当前文件的意思。如果有几个文件中间是一样的，前后不一样的，而且很多都要屏蔽，那么可以以*作为代替，把中间相同的字符写上，前后用*表示即可，如：
　　Disallow： /*htm*
　　另外本篇提到了另外一个问题，那就是承包给别人制作的时间要注意检查这个文件下，为什么呢？
　　因为制作网站的人很多时候还没做好搜索引擎就收录了，然后他们又一直修改，这样对网站的权重是相当不利的。因此他们的屏蔽是为了在制作未完成时不被搜索引擎抓取。但做好后，有些时候会忘了，或者由于其它原因又没开取。
　　因此当我们接手的时候，记得要开起，以免推广了很长的时间，搜索引擎确没有任何的反映。
电暖气 http://www.qfxinda.com/

zhangwendy007 · 发表于 2012-09-10 15:05:34

{:soso_e121:}学习学习，楼主你辛苦啦

红枫 · 发表于 2026-08-04 12:57:47

这个分享太实用了，刚好能用到，感谢楼主！

acceptfuture · 发表于 2026-09-07 13:19:02

完全赞同，我也是这么认为的，英雄所见略同～

qqxxxl · 发表于 2026-09-07 13:51:46

这个思路很新颖，打开了新世界的大门，谢谢分享

wjh00 · 发表于 2026-09-10 19:04:12

说得很实在，没有夸大其词，这种真实分享太难得了

		自动登录	找回密码
密码			加入怎通

[站长八卦] robots.txt文件怎么制作