教你巧妙运用robots文件

搞优化的人都知道，搜索引擎去你的网站首先访问的文件就是robots.txt，可见它的重要性，robots.txt就像一个规则，指引着搜索引擎蜘蛛来进行操作，当然蜘蛛根据你写的代码也会做出相应的反应，它也会判断哪些是可以抓取，哪些是不允许。
    现实中也有很多站长和搞seo的朋友根本不知道robots.txt是什么文件，通常忽略了这个，因为他们的理由就是网站没有重要的信息，所有页面都可以抓取，但是我的个人观点就是假如实在不会用，就建立一个空的文件，保证robots.txt这个存在，这样做是没有坏处的。
- ^- T4 l% t' t! m    合理robots.txt文件怎么写？
9 @' R8 t/ }- o# {    首先我们需要建立这个文件，如果你用的是虚拟主机，就在网站的根目录下新建txt文件，名字是robots.txt，这样当访问你的网站后面加上robots.txt时，就可以看到内容。
     下面烟台seo介绍几个比较重要的写法：
    禁止所有搜索引擎访问网站的所有部分
2 }  e1 i) W! }- ?/ p8 \# q' U$ j    User-agent: *
% d0 T: q9 w' x/ ~; c  S% \    Disallow: /
    禁止百度索引你的网站
$ f. w  D* J9 {6 n9 ]    User-agent: Baiduspider
    Disallow: /
! q3 V! O- m6 Q' x/ {    禁止Google索引你的网站
    User-agent: Googlebot
    Disallow: /
" S- u! D: K) U' _# O" a) J    禁止蜘蛛访问某个目录
- e; Q& `$ V% I7 d; z电暖气]http://www.qfxinda.com/
    User-agent: *
    Disallow: /css/
    Disallow: /admin/
# r! d& J- ^6 j  m4 B    Disallow: /images/
6 S& n1 ?* Q6 l! j, \+ v. k. z5 ~( C    Disallow是不允许的意思，去掉dis就是允许，所以里面的东西可以随便书写，只要复合你想要的就可以，估计屏蔽掉百度抓取的很少吧，但是淘宝就是这么做的，他不允许百度来抓取任何页面，这篇文章我讲的是第二种方法，其实这两种方法你可以随意挑选一种，只要适合你的就可以。

0 ~6 m6 [3 T! ]* g6 }% s

楼主太厉害了，整理得这么详细，必须支持

说得很实在，没有夸大其词，这种真实分享太难得了

蹲了这么久，终于看到有价值的讨论，支持一下！

内容很干货，没有多余的废话，值得反复看

分析得很透彻，很多细节都说到点子上了～

学习到了，之前一直没注意过这个点，受教了

完全赞同，我也是这么认为的，英雄所见略同～

这个分享太实用了，刚好能用到，感谢楼主！

这个思路很新颖，打开了新世界的大门，谢谢分享