教你巧妙运用robots文件

搞优化的人都知道，搜索引擎去你的网站首先访问的文件就是robots.txt，可见它的重要性，robots.txt就像一个规则，指引着搜索引擎蜘蛛来进行操作，当然蜘蛛根据你写的代码也会做出相应的反应，它也会判断哪些是可以抓取，哪些是不允许。
    现实中也有很多站长和搞seo的朋友根本不知道robots.txt是什么文件，通常忽略了这个，因为他们的理由就是网站没有重要的信息，所有页面都可以抓取，但是我的个人观点就是假如实在不会用，就建立一个空的文件，保证robots.txt这个存在，这样做是没有坏处的。
    合理robots.txt文件怎么写？
    首先我们需要建立这个文件，如果你用的是虚拟主机，就在网站的根目录下新建txt文件，名字是robots.txt，这样当访问你的网站后面加上robots.txt时，就可以看到内容。
0 g. n- N8 |5 D     下面烟台seo介绍几个比较重要的写法：
    禁止所有搜索引擎访问网站的所有部分
  t  Y, w* {2 C% M1 u! C    User-agent: *
    Disallow: /
# t2 f! {0 u, ]. s/ u    禁止百度索引你的网站
" Q# N: `1 l" i# I( t: l    User-agent: Baiduspider
    Disallow: /
1 B7 Z- g2 G% ^    禁止Google索引你的网站
) g% D5 m4 c4 \) j    User-agent: Googlebot
    Disallow: /
9 [) j4 c- L+ r    禁止蜘蛛访问某个目录
* J+ S  K7 `9 _4 r: ]+ f! c6 y) u1 Z电暖气]http://www.qfxinda.com/
0 \" m. D# p  b/ P5 _    User-agent: *
    Disallow: /css/
4 Y; t# l2 r* d' j* r$ M/ g    Disallow: /admin/
    Disallow: /images/
    Disallow是不允许的意思，去掉dis就是允许，所以里面的东西可以随便书写，只要复合你想要的就可以，估计屏蔽掉百度抓取的很少吧，但是淘宝就是这么做的，他不允许百度来抓取任何页面，这篇文章我讲的是第二种方法，其实这两种方法你可以随意挑选一种，只要适合你的就可以。

9 n0 \7 W& l1 N+ o! H

楼主太厉害了，整理得这么详细，必须支持

说得很实在，没有夸大其词，这种真实分享太难得了