搜索引擎爬虫优先抓取哪些网页

TONY · 发表于 2012-02-24 11:38:59

　　网站的全体流量次要取决于网站页面的全体收录、网站页面的全体排名以及网站页面的全体点击率，这三个要素也是有先后顺序的，排名排一位的就是全体收录了，那么全体收录又是由哪些决议的呢?首先要想被收录，一定页面要被搜索引擎抓取吧，没有抓取，也就不能够有收录。所以我们在优化收录的时分，一定要想方法让搜索引擎的爬虫顺序去尽量抓取更多的页面，那么关于搜索引擎来说，它的源也是无限的，而且由于各种限制，它也只能抓取互联网上一切网页的一局部，而在抓取的这些页面中，它索引的也只是一局部，搜索引擎的蜘蛛顺序会优先抓取哪些页面呢?

　　1、威望性高、页面质量高的网站

　　关于一些威望性比拟高的网站，搜索引擎的爬虫顺序都是常常抓取的，由于威望性高的网站被搜索引擎以为是牢靠的来源，在排名的时分，也会优先排名这些网页的，它之所以这样做，也是出于对搜索引擎用户的思索，假如排名在前边的网站都是一些渣滓网站的页面，用户就会觉得这个搜索引擎找不到你要的后果，下次能够就不会来这里了，所以威望性的牢靠站点，搜索引擎的爬虫是比拟活泼的，不但停留的工夫长，而且派出的蜘蛛的数量也是很多的，因而培育网站的权重是十分重要的，临时提供高质量的页面，坚持把网站权重做上去。

　　2、更新比拟频繁的站比拟受搜索引擎的青莱

　　搜索引擎关于一些更新比拟频繁的网站，也是常常去匍匐的，其实搜索引擎关于内容的需求是十分渴求的，它想尽能够的抓取更多适用的内容以提供应用户，假如你的站点常常更新，搜索引擎也会常常来拜访的，它关于新颖网页是比拟喜欢的，我们要培育搜索引擎来抓取的习气，常常更新，它就会常常来访，相反假如你的更新频率渐渐的在下降，那么它来的频率也会下降，由于它的资源是无限的，每次来都抓取不到新网页，下次就会隔很长工夫再来抓取。

　　3、从首页到页面的点击间隔近的优先被抓取

　　这个次要是从站内来说的，在同一个网站外部，搜索引擎普通是从首页开端抓取的，首页上的链接根本是被优先抓取的，而且由于首页效应的影响，在首页有链接的网页根本排名也会比其他网页会好一些，所以你比拟重要的网页要尽量放在首页，或许放在从首页算起，比拟少次数就能点击到的地方，所以大家普通次要网站的目录构造不要超越三层，也就是出于这个思索，而且一些比拟深层次的网页，要适当的做一些外链，就是由于这些深层次的网页不容易被搜索引擎抓取。

　　4、导入链接比拟多的页面被优先抓取

　　搜索引擎是顺着互联网上URL链接来匍匐抓取网页的，要想被抓取，你的页面URL链接需求呈现在某个地方，当你呈现在网站权重比拟高的网站上边时，就会被容易发现从而抓取，而且假如你的导入链接越多，那么被抓取的时机就会更多，在排名方面，你的导入链接越多，关于排名也是很有协助的。所以我们在做外链的时分，一定要做得普遍一些，尽量给每一个重要的页面都做些外链，而不是只做首页的外链。

　　文章来源揭幕者新浪博客http://www.niulaile.com/stockblog/jiemuzhe/,欢迎转载下载。

5566sl · 发表于 2026-03-16 17:01:38

学习到了，之前一直没注意过这个点，受教了

yangcong123 · 发表于 2026-03-16 17:01:48

这个思路很新颖，打开了新世界的大门，谢谢分享

		自动登录	找回密码
密码			加入怎通

[站长八卦] 搜索引擎爬虫优先抓取哪些网页