twelgwei 发表于 2012-06-29 16:08:08

百度搜索引擎(蜘蛛)如何抓取我们的页面

  搜索引擎优化(seo)是让搜索引擎更好的收录我们网页的一系列过程,良好的优化措施有利于搜索引擎蜘蛛对我们的网站进行抓取。什么是优化?优化的目的就是“取其精华去其糟粕”,就是是网页的内容放方便百度蜘蛛的抓取,百度搜索引擎(蜘蛛)是如何来抓取我们的页面呢?笔者在百度搜索自己在admin5站长网发布的一篇文章,拿出来和大家分享。
http://www.admin5.com/upimg/allimg/120629/-1-12062ZR60C63.png
  图一  页面标题
  如图一所示,百度搜索引擎最先抓取的是页面标题的title标签部分,网站的title标签对网站的优化工作至关重要。笔者前一个星期对网站的title标签进行修改,仅仅是删除两个字,百度搜索引擎一个星期才放出来,并且这期间并未对快照进行更行,一直停留在原有时间!
  描述标签
  如图一所示,搜索引擎并不一定展示的是描述标签(admin5中的信息摘要),百度指数在抓取页面标题之后,会优先抓取网页内容中最先显示的内容,而不是网页正文的第一段(如图二所示-标题一下部分-在admin5中,这个可是锚文本链接,百度既然抓取,肯定也抓取这个锚文本链接),然后在抓取网页的手段描述部分,网站的描述部分通常部超过200字符。通常网站描述部分显示的也不全是网站的第一段内容,而是显示搜索引擎认为与用户搜索最相关的内容。如图三所示。图二中抓取的部分在图三中没有抓取
  
http://www.admin5.com/upimg/allimg/120629/-1-12062ZT13T54.png
  图二  
http://www.admin5.com/upimg/allimg/120629/-1-12062ZU014344.png
  图三  如果把图一、图二和图三结合起来看,我们可以清晰的看出,百度蜘蛛究竟抓取了网页的哪些部分,title标签,标题,与用户搜索关键词相关的部分内容,并且相关的内容以飘红的形式展现出来。让用户区分,这究竟是不是自己需要的信息!所以了解百度蜘蛛的搜索对降低网站的跳出率,增加用户粘度还是有一些帮助的。

转载出处:http://www.sh-zhuji.com

20120506 发表于 2026-01-22 10:20:46

内容很干货,没有多余的废话,值得反复看

沫沫 发表于 2026-02-27 09:26:17

学习到了,之前一直没注意过这个点,受教了

网缘残冰 发表于 2026-03-13 16:10:41

分析得很透彻,很多细节都说到点子上了~

q475364102 发表于 2026-03-15 16:16:59

楼主太厉害了,整理得这么详细,必须支持

我是学霸小渣渣 发表于 2026-03-26 00:29:50

完全赞同,我也是这么认为的,英雄所见略同~

zx3968 发表于 2026-04-19 08:19:05

这个分享太实用了,刚好能用到,感谢楼主!
页: [1]
查看完整版本: 百度搜索引擎(蜘蛛)如何抓取我们的页面