搜索引擎会不会抓取带#号(哈希值)的URL

andishui · 发表于 2015-03-05 09:45:55

　　在我的网站各个地址中，难免出现一些带#的URL，一般是通过点击某个链接，跳转到网页的某个位置，实现信息内容的快速定位。本站使用的文章内目录就是这样做的。但是，这种带#的URL搜索引擎会被收录吗?
　　1、什么是哈希值?
　　在阮一峰的博客中有一篇文章可以很好的解释哈希值，#值不是http请求，而是一个浏览器动作。通过#，可以快速定位到网页中的某个具体位置。例如souluseo/post/122.html#comment-121，就会快速定位到id=comment-121或这个位置。　　2、搜索引擎会不会抓取带#号(哈希值)的URL
　　答案是一般不会。搜索引擎抓取页面首先要遵循http协议，可是#不是协议内的内容。而实际上也是这样，我们没有见过搜索引擎的搜索结果中，哪一条记录可以快速定位到网页内的某个位置的。因此，希望通过在网站内外添加带#的锚链接来让搜索引擎第一次访问时快速定位是不现实的。当然，搜索引擎蜘蛛为了模拟真实用户，在进入网站之后，会通过一些技术实现模拟鼠标点击的效果，这个时候，页面的锚链接还是起作用，但任何链接在搜索结果中时，都不会带#。wea8jw.fincm.org

　　3、URL 中的 #! 有什么作用?
　　这是一个违反2中的特例，谷歌会抓取带有#!的URL。Google规定，如果你希望Ajax生成的内容被浏览引擎读取，那么URL中可以使用#!(这种URL在一般页面一般不会产生定位效果)，Google会自动将其后面的内容转成查询字符串_escaped_fragment_的值。例如/#!/username等效于/?_escaped_fragment_=/username，而带?的URL是会被抓取的，所以#!的URL会被谷歌收录。
　　4、搜索引擎会不会抓取带#号(哈希值)的URL给我们的启示
　　一、不要试图用robots.txt屏蔽#的网址。我之前翻过一个错误，即在嗖录网的robots.txt中加入了disallow:/*#*规则，以试图屏蔽这些带#的URL被抓取。但实际上，这个做法是错误的，首先#在robots.txt是注释符号，它后面的内容会被注释掉，所以这条规则变成了disallow:/*，即阻止收录本站所有页面，幸好我在今早发现，并马上进行了修改。其次，搜索引擎不会抓取带#的URL，因此没有必要加一条这样的规则。
　　二、可以利用#和ajax结合来隐藏不想被抓取的内容。在我们的一些网页中，可能有些内容是我们不想直接告诉搜索引擎的，或者一些隐私不希望被抓取，因此我们可以采用#来控制这些信息的显示。例如我们增加一个按钮，当URL中带#show-info-123时，显示123的个人信息，而不带时不显示。而对于搜索引擎来说，会自动忽略带#的URL，因此123的个人信息不会被抓取。

nono · 发表于 2015-03-09 18:39:15

学习了，感谢楼主分享/essun.net

472118477 · 发表于 2026-08-13 18:04:14

说得很实在，没有夸大其词，这种真实分享太难得了

1589333208 · 发表于 2026-08-14 02:15:20

蹲了这么久，终于看到有价值的讨论，支持一下！

		自动登录	找回密码
密码			加入怎通

[其他] 搜索引擎会不会抓取带#号(哈希值)的URL