robots.txt文件四个方面的好处

拓宽动力小H · 发表于 2012-05-02 14:26:46

搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为robots.txt的纯文本文件，robots.txt用于指令搜索引擎禁止抓取网站某些内容或指定允许抓取某些内容。

只有在需要禁止抓取某些内容时，写robots.txt才有意义。robots文件不存在或者是空文件都意味着允许搜索引擎抓取所有内容。有的服务器设置有问题，robotx文件不存在时会返回200状态码及一些错误信息，而不是404状态码，这可能使搜索引擎错误解读robots文件信息，所以建议就算允许抓取所有内容，也要建一个空的robots.txt文件，存放在根目录下。

使用robots.txt文件可以让搜索引擎看网站更规范和权威。

用robots.txt文件的好处主要有四方面。

1、用robots.txt屏蔽死链接。
死链接就是原来存在，后来因为改版或更新等缘故删除了的链接和网页，可以用robots.txt屏蔽。

2、用robots.txt屏蔽相似的页面或没内容的页面。
我们知道，搜索引擎收录网页后，会对网页进行“审核”，当网页的相似度很高时，会删除其中一个。

3、用robots.txt屏蔽多余的链接，当动态和静态共存时，一般去掉动态的。
网站中经常会存在多个链接指向同一个页面，这种情况普遍存在时，会让搜索引擎对网站的权威性产生怀疑。
通过robots.txt把非主要的链接去掉。

4、用robots.txt屏蔽可能存在的“被K”外部链接。
很多网站允许用户放自己的网站链接，但因为过多的“被K”外部链接可能连累自己。

所以，我们把所有外部链接放入一个链接目录下，然后通过robots.txt统一屏蔽。

深圳印刷网 · 发表于 2012-05-02 15:22:49

不是很懂也，。，，楼主

等待她203307 · 发表于 2012-05-02 17:55:12

会先查看网站根目录下有没有一个命名为robots.txt的纯文本文件，robots.txt用于指令搜索引擎禁止抓取网站某些内容或指定允许抓取某些内容。

方程式 · 发表于 2025-11-09 03:12:47

说得很实在，没有夸大其词，这种真实分享太难得了

西万路小混混 · 发表于 2025-11-10 20:21:55

完全赞同，我也是这么认为的，英雄所见略同～

123go · 发表于 2026-03-11 01:55:38

学习到了，之前一直没注意过这个点，受教了

天之心 · 发表于 2026-03-16 16:30:38

这个思路很新颖，打开了新世界的大门，谢谢分享

追风追雨追太阳 · 发表于 2026-04-27 23:55:02

楼主辛苦了，整理这么多内容，必须点赞收藏

bhccn · 发表于 2026-07-17 21:16:46

这个分享太实用了，刚好能用到，感谢楼主！

西万路小混混 · 发表于 2026-07-18 07:33:09

刚好遇到类似问题，看完这个帖子心里有底了

		自动登录	找回密码
密码			加入怎通

[站长八卦] robots.txt文件四个方面的好处

浏览过的版块