搜索引擎蜘蛛的策略分析

爷的范你学不来 · 发表于 2013-03-10 14:15:34

搜索策略一般有深度优先的搜索策略和广度优先的搜索策略两种。

　　广度优先的搜索策略一般被认为是盲目的搜索。它是一种以搜索更多的网页为优先的一种贪婪的搜索策略。只要有东西检索，它就抓取。它会先读取一个文档，保存下文档上的所有链接，然后读取所有这些链接文档，并依次进行下去。
　　深度优先的搜索策略网络蜘蛛程序分析一个文档，并取出它的第一个链接所指的文档继续分析，然后如此继续下去。这样的搜索策略达到了网站结构的分析，以及页面链接深度分析，从而传达网站信息。
　　还有网络上说的算法，如Hash算法，遗传算法等都是基于搜索引擎核心技术，这些也可以去了解下，比如最新的熊猫算法，这也是基于搜索策略的一种新算法，谷歌对其已经更新好几次了。
　　更新策略
　　以网页变化的周期为依据，只对那些经常变化的网页做更新操作也是一些小型的搜索引擎常采用的方法。这也就是为什么站长会每个几周对网站页面内容的一个小更新，这是基于搜索引擎优化的技术。网络爬虫也经常采用个体更新的策略。它是以个别网页的变化频率来决定对网页的更新频率，这样一来基本上每个网页都会有一个独立的更新频率。
　　基于对搜索引擎原理了解的SEOer来提升搜索引擎优化技术，这也是一种SEO技术。搜索引擎优化过程当中自然就能做到自己在做什么，为什么要这样做，而不是只会发外链的机械操作者。

		自动登录	找回密码
密码			加入怎通

[站长八卦] 搜索引擎蜘蛛的策略分析

浏览过的版块