如何改善蜘蛛体验

江枫渔火 · 发表于 2011-12-06 23:56:53

信息来源：衡阳网站建设　　发布时间：　　文字大小：[ 大中小 ] 1、减少DNS查询次数
搜索引擎程序是在模拟用户浏览行为，过多的DNS查询会延长蜘蛛程序爬取网页其他内容或其他网页的时间，在“网页性能优化”那篇文章，详细的描述了浏览器解析和加载的过程，提出了非常详细的优化方式。
2、缩减网页代码
网页体积的大小与网页内容是相对的，这个的主要目的是加速网页载入速度。当然你的网页打开够快，都可以直接将CSS写到网页中。
3、减少或消除蜘蛛陷进
由于搜索引擎爬行程序自身的技术缺陷，一些网页元素不能正确的解析，例如FALSH、JS等，这些我们可以将其放在网页源代码的下面部分，如果需要协调用户体验，那么，我们可以使用CSS来达到我们的目的，常见的有用户提醒、登录、注册、网页广告等。
4、提供良好的蜘蛛通道
我们在减少或消除蜘蛛陷进后，很多时候可能无法完全的达到我们的目的，比如快速收录、提高收录量，那么，我们可以为蜘蛛程序提供良好的蜘蛛通道，让其在尽可能短的时间内找到我们最新的网页。
5、标签的合理运用
在搜索引擎或网页基本设计看来，合理的使用HTML标签可以使蜘蛛程序找到网页的重点内容，初了在网页源文件头部体现外，我们可以使用H标签、加粗、增大字体等方式来实现，特别是对于中小型或关键词单一的网站来讲，网页内容在源代码体现更有利于关键词排名，例如整站H1都为关键词或包含关键词的短语，对于大型网站，往往目的是行业的品牌化，首页、频道可以不使用H1标签，而在内容中使用。这些运用的例子很多，阿里巴巴、新浪等门户都可以作为很好的参考资料。
6、合理使用nofollow标签
网页头部一般都非常重要，很多时候在头部的一些链接必不可少，除了利用CSS来控制一些非重要链接外，我们还可以使用nofollow来控制蜘蛛程序，常见链接为搜索、首页、留言板等。

bxd36663 · 发表于 2026-02-26 18:48:48

楼主太厉害了，整理得这么详细，必须支持

不在那岸边 · 发表于 2026-03-16 18:15:45

说得很实在，没有夸大其词，这种真实分享太难得了

yanglang23 · 发表于 2026-03-17 03:52:10

蹲了这么久，终于看到有价值的讨论，支持一下！

戴草帽的王子 · 发表于 2026-09-30 07:36:09

内容很干货，没有多余的废话，值得反复看

逍遥自在逍遥也 · 发表于 2026-10-09 10:57:26

这个分享太实用了，刚好能用到，感谢楼主！

		自动登录	找回密码
密码			加入怎通

[站长八卦] 如何改善蜘蛛体验