江枫渔火 发表于 2011-12-06 23:56:53

如何改善蜘蛛体验

信息来源:衡阳网站建设  发布时间:  文字大小:[ 大 中 小 ] 1、减少DNS查询次数
搜索引擎程序是在模拟用户浏览行为,过多的DNS查询会延长蜘蛛程序爬取网页其他内容或其他网页的时间,在“网页性能优化”那篇文章,详细的描述了浏览器解析和加载的过程,提出了非常详细的优化方式。
2、缩减网页代码
网页体积的大小与网页内容是相对的,这个的主要目的是加速网页载入速度。当然你的网页打开够快,都可以直接将CSS写到网页中。
3、减少或消除蜘蛛陷进
由于搜索引擎爬行程序自身的技术缺陷,一些网页元素不能正确的解析,例如FALSH、JS等,这些我们可以将其放在网页源代码的下面部分,如果需要协调用户体验,那么,我们可以使用CSS来达到我们的目的,常见的有用户提醒、登录、注册、网页广告等。
4、提供良好的蜘蛛通道
我们在减少或消除蜘蛛陷进后,很多时候可能无法完全的达到我们的目的,比如快速收录、提高收录量,那么,我们可以为蜘蛛程序提供良好的蜘蛛通道,让其在尽可能短的时间内找到我们最新的网页。
5、标签的合理运用
在搜索引擎或网页基本设计看来,合理的使用HTML标签可以使蜘蛛程序找到网页的重点内容,初了在网页源文件头部体现外,我们可以使用H标签、加粗、增大字体等方式来实现,特别是对于中小型或关键词单一的网站来讲,网页内容在源代码体现更有利于关键词排名,例如整站H1都为关键词或包含关键词的短语,对于大型网站,往往目的是行业的品牌化,首页、频道可以不使用H1标签,而在内容中使用。这些运用的例子很多,阿里巴巴、新浪等门户都可以作为很好的参考资料。
6、合理使用nofollow标签
网页头部一般都非常重要,很多时候在头部的一些链接必不可少,除了利用CSS来控制一些非重要链接外,我们还可以使用nofollow来控制蜘蛛程序,常见链接为搜索、首页、留言板等。

bxd36663 发表于 2026-02-26 18:48:48

楼主太厉害了,整理得这么详细,必须支持

不在那岸边 发表于 2026-03-16 18:15:45

说得很实在,没有夸大其词,这种真实分享太难得了

yanglang23 发表于 2026-03-17 03:52:10

蹲了这么久,终于看到有价值的讨论,支持一下!
页: [1]
查看完整版本: 如何改善蜘蛛体验