实例浅谈在robots文件上我们容易出现的三点细节上的错误

Robots.txt文件看似只有几行字母，但是其实有很多细节需要我们注意的。因为如果你不注意这些细节，有的语句将不会发挥效果，甚至出现发效果。而robots.txtt文件是搜索引擎进入我们站点后访问的第一个文件，其写的好不好关系到站点的seo能否顺利进行。下面笔者将举例分析三个在robots.txt文件时我们容易出现的细节上的错误。　　错误一：Allow与disallow顺序颠倒
　　首先我们来看一段robots.txt语句：
( V# A5 N& B5 N( g* R　　User-agent: *
' H8 K- H. ]+ e$ T- N1 ^　　Allow: /
　　Disallow: /abcd/
/ c& v1 x. t  B7 J) c8 ^: e3 k　　这段语句初看我们可以得到目的是告诉搜索引擎在abcd目录下面的页面不能抓取，但是其他所有的页面可以。但是这段语句的实际效果如何呢?效果是背道而驰的，为什么呢?我们知道搜索引擎蜘蛛对于robots文件中的规则的执行是从上到下的。这将会造成Disallow语句失效，正确的做法，是要把Disallow: /abcd/置于Allow: /前才能发挥我们想要的效果。
　　错误二：屏蔽某一个页面时，页面名前没有带上斜杠“/”
  |8 |3 [7 n# z( O2 p8 n% F　　我想这一点很多站长也很容易忽视掉，打个比方，我们想要对搜索引擎屏蔽在根目录下的abcd.html这一页面，有的人在robots上可能会这么写：Disallow: abcd.html，表面上看可能没什么问题，但是笔者想要问一下你先告知搜搜引擎屏蔽的这一页面在什么目录下面?如果我们不带上的话，搜索引擎蜘蛛无法识别是在哪一个页面。正确的写法是：Disallow: /abcd.html，这样才能真正的屏蔽位于根目录下面的abcd.html这一页面。
1 g4 x- M4 ?/ @3 l　　错误三：屏蔽的后面没有跟上斜杠“/”
% y, C; S2 s  `- }6 p　　同样举个例子，比如我们想屏蔽/abcd/这一目录下面的页面，有的人可能会这样写Disallow: /abcd。这样写是否有问题呢?这样写依然有问题，而且问题很大条。这样虽然可以屏蔽掉/abcd/这一目录下面的所有页面。但是这也会传递给搜索引擎这样的信息，那就是屏蔽开头为/abcd的所有页面。效果等同于是Disallow: /abcd’*。这个错误将会给站点照成很大的影响。正确的做法是，在想要屏蔽的目录后面切记需要加上斜杠“/”。
　　对于robots.txt文件的重要性想必很多站长都深有体会。如果我们不重视这些书写的小细节的不仅会失去robotss.txt原有的效果，还会引起不必要的反效果。希望本文提出的这三个细节对于大家在写该文件的时候有所帮助。
本文由http://www.geduan001.com/a/news/active/2012/0521/66.html编辑(转载请注明)
0 M: K* y' w3 N% b& ^

蹲了这么久，终于看到有价值的讨论，支持一下！

内容很干货，没有多余的废话，值得反复看

这个思路很新颖，打开了新世界的大门，谢谢分享

刚好遇到类似问题，看完这个帖子心里有底了

楼主辛苦了，整理这么多内容，必须点赞收藏