教你巧妙运用robots文件

爱的呼唤 · 发表于 2012-09-03 17:47:05

搞优化的人都知道，搜索引擎去你的网站首先访问的文件就是robots.txt，可见它的重要性，robots.txt就像一个规则，指引着搜索引擎蜘蛛来进行操作，当然蜘蛛根据你写的代码也会做出相应的反应，它也会判断哪些是可以抓取，哪些是不允许。
现实中也有很多站长和搞seo的朋友根本不知道robots.txt是什么文件，通常忽略了这个，因为他们的理由就是网站没有重要的信息，所有页面都可以抓取，但是我的个人观点就是假如实在不会用，就建立一个空的文件，保证robots.txt这个存在，这样做是没有坏处的。
合理robots.txt文件怎么写？
首先我们需要建立这个文件，如果你用的是虚拟主机，就在网站的根目录下新建txt文件，名字是robots.txt，这样当访问你的网站后面加上robots.txt时，就可以看到内容。
下面烟台seo介绍几个比较重要的写法：
禁止所有搜索引擎访问网站的所有部分
User-agent: *
Disallow: /
禁止百度索引你的网站
User-agent: Baiduspider
Disallow: /
禁止Google索引你的网站
User-agent: Googlebot
Disallow: /
禁止蜘蛛访问某个目录
电暖气]http://www.qfxinda.com/
User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/
Disallow是不允许的意思，去掉dis就是允许，所以里面的东西可以随便书写，只要复合你想要的就可以，估计屏蔽掉百度抓取的很少吧，但是淘宝就是这么做的，他不允许百度来抓取任何页面，这篇文章我讲的是第二种方法，其实这两种方法你可以随意挑选一种，只要适合你的就可以。

亿佳网络SEO · 发表于 2026-01-22 07:11:30

楼主太厉害了，整理得这么详细，必须支持

快乐小鸟 · 发表于 2026-03-15 07:20:43

说得很实在，没有夸大其词，这种真实分享太难得了

		自动登录	找回密码
密码			加入怎通

[站长八卦] 教你巧妙运用robots文件