搜索引擎的Robots协议

爱的呼唤 · 发表于 2012-09-09 09:52:30

Robots协议，是对查找引擎进行束缚的一个文档，用于通知查找引擎的爬虫，哪些内容是不该被查找引擎的索引。上海SEO之前写了一篇文章，Robots文件标准。但查找引擎它们遵从了吗，小x写这篇文章就是对立查找引擎不遵从Robots协议，强行抓取网页页面，侵略用户隐私。
　　Robots协议并不是一个标准，而仅仅约定俗成的。关于谷歌来说，固然也不能彻底的将谷歌阻挠在页面之外，谷歌也有可能对其索引。但对准谷歌有一个META可以进行屏蔽与束缚：
　　若是Google看到某一页上有noindex的元符号，就会将此页从Google的查找成果中彻底丢掉，而不论能否还有其他页链接到此页。但关于百度来说，这个Meta就发扬不了效果。对百度也只能进行快照屏蔽，网页屏蔽暂时无法用代码去束缚。典型的比如就是淘宝抓取，百度查找“淘宝网”，第一个成果也是淘宝网首页地址，仅仅该页面没有网页快照，因而看来，网站只能制止百度的快照，而无法制止百度为网页建索引。重庆代孕 http://www.yjdaiyun.com/

8sfhd · 发表于 2026-01-10 07:22:39

楼主辛苦了，整理这么多内容，必须点赞收藏

super · 发表于 2026-01-12 07:49:36

这个分享太实用了，刚好能用到，感谢楼主！

爱吃冰激凌 · 发表于 2026-01-12 15:18:26

楼主太厉害了，整理得这么详细，必须支持

哈哈我来也 · 发表于 2026-01-12 22:18:36

刚好遇到类似问题，看完这个帖子心里有底了

西万路小混混 · 发表于 2026-03-17 02:24:39

内容很干货，没有多余的废话，值得反复看

		自动登录	找回密码
密码			加入怎通

[站长八卦] 搜索引擎的Robots协议