教你巧妙运用robots文件

爱的呼唤 · 发表于 2012-09-03 17:47:05

搞优化的人都知道，搜索引擎去你的网站首先访问的文件就是robots.txt，可见它的重要性，robots.txt就像一个规则，指引着搜索引擎蜘蛛来进行操作，当然蜘蛛根据你写的代码也会做出相应的反应，它也会判断哪些是可以抓取，哪些是不允许。
现实中也有很多站长和搞seo的朋友根本不知道robots.txt是什么文件，通常忽略了这个，因为他们的理由就是网站没有重要的信息，所有页面都可以抓取，但是我的个人观点就是假如实在不会用，就建立一个空的文件，保证robots.txt这个存在，这样做是没有坏处的。
合理robots.txt文件怎么写？
首先我们需要建立这个文件，如果你用的是虚拟主机，就在网站的根目录下新建txt文件，名字是robots.txt，这样当访问你的网站后面加上robots.txt时，就可以看到内容。
下面烟台seo介绍几个比较重要的写法：
禁止所有搜索引擎访问网站的所有部分
User-agent: *
Disallow: /
禁止百度索引你的网站
User-agent: Baiduspider
Disallow: /
禁止Google索引你的网站
User-agent: Googlebot
Disallow: /
禁止蜘蛛访问某个目录
电暖气]http://www.qfxinda.com/
User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/
Disallow是不允许的意思，去掉dis就是允许，所以里面的东西可以随便书写，只要复合你想要的就可以，估计屏蔽掉百度抓取的很少吧，但是淘宝就是这么做的，他不允许百度来抓取任何页面，这篇文章我讲的是第二种方法，其实这两种方法你可以随意挑选一种，只要适合你的就可以。

亿佳网络SEO · 发表于 2026-01-22 07:11:30

楼主太厉害了，整理得这么详细，必须支持

快乐小鸟 · 发表于 2026-03-15 07:20:43

说得很实在，没有夸大其词，这种真实分享太难得了

xiao.P · 发表于 2026-06-28 17:38:24

蹲了这么久，终于看到有价值的讨论，支持一下！

明天走过 · 发表于 2026-07-06 18:27:41

内容很干货，没有多余的废话，值得反复看

melody-娇 · 发表于 2026-07-18 10:00:01

分析得很透彻，很多细节都说到点子上了～

东南网联小谭 · 发表于 2026-07-19 07:34:27

提示: 作者被禁止或删除内容自动屏蔽

醉梦先生 · 发表于 2026-08-07 22:25:47

学习到了，之前一直没注意过这个点，受教了

◇|OvЁ貝 · 发表于 2026-08-08 14:06:52

完全赞同，我也是这么认为的，英雄所见略同～

82123208 · 发表于 2026-08-10 22:43:33

这个分享太实用了，刚好能用到，感谢楼主！

温州东瓯医院 · 发表于 2026-10-25 05:10:52

这个思路很新颖，打开了新世界的大门，谢谢分享

		自动登录	找回密码
密码			加入怎通

东南网联小谭当前离线积分 775 头像被屏蔽	东南网联小谭发表于 2026-07-19 07:34:27 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
东南网联小谭当前离线积分 775 头像被屏蔽
	回复使用道具举报

[站长八卦] 教你巧妙运用robots文件