SEO那点事：页面分析技术

　　一，拿到页面代码，一阵狂扫。
　　
　　这个不是PHP里的函数，PHP相比之下，速度太慢，无法达到C的飞速。从代码的开头的W3C协议开始直到页面最后的HTML的结束符。当然，第一步不是分析W3C。分析之前先要读取该代码的长度。大家应该知道，不管是百度还是谷歌，搜索任何一个词出来的每一条结果都附带了该页面的大小，多少多少K。页面分析器要先读取该页面的长度第一是因为本来需要，要在显示页面输出这个变量，二是因为得到这个大小之后才好更均匀的分配CPU和内存的资源。一台服务器不可能每时每刻只运行一个分析器，而是同时进行多个。并发处理是高效率的保证。算出该代码的长度之后，分配均匀的服务器资源过来，然后开始扫。W3C当然是第一个碰到的，OK，加分(心爱所见过的所有网页都有这个，不遵循这个协议的还真没见到过);接下来，title抓出来，用一个变量保存好，meta抓出来，用一个变量保存好，body抓出来，用一个变量保存好。然后对应的去分析这几个变量，通过的话就放入数据库。然后下一步就是分析页面的界面，框架，布局等问题。心爱认为，搜索引擎目前是在尽量模拟用户去体验这个页面，尽量多的看见用户能看见的东西。
8 h* V) H( f+ L# q9 o　　
$ V! g. Y3 L3 }, W　　二，分析页面相似性。
　　
: F0 j6 q, z6 a# @　　很多人在表达对原创文章的敬爱的时候，搜索引擎也已经有了很好的分析页面相似度的机制了。假如搜索引擎不能判断原创与否，那搜索出来的结果的重复率将至少是30%。当然了，目前虽然已经有了这么好的机制，重复率也有10%，虽然谷歌曾说过要杜绝此类现象。心爱目前无法考证是谷歌没这个技术，还是其它什么原因。判断页面相似性和之前说过的一二三级相关关键词有点联系。搜索引擎就是靠这些分了等级的相关关键词及出现频率为倒数几位的“噪音词语”来判断的。
( p, ]. {3 R3 _: @- l/ P/ ^　　
/ H( i# r  a  x4 g6 S+ Y3 G　　三，拉进数据库，不是随便拉的。
+ b* b2 q, p# t　　
# m' l5 `" o1 e' g6 |' e0 M　　当上面的title，meta，body变量确认OK之后，是要拉到数据库里去，但是并不是只有一个表。根据页面的特性，来决定放入哪一个表。假如这个页面和以前已经收录的某些页面有太多相似，就放入表A，如果没有什么相似，就放入表B，如果页面很OK原创度很高，就放入表C。举例而已。搜索引擎的准备工作非常充分，它们要为最后计算每个页面的得分做出最完善的考虑。它们要准备足够多的变量来满足最后影响排名的因素的高要求。
　　
. E( z- r5 x* v　　是不是感觉蜘蛛妈妈很强大?那是当然了。蜘蛛都能高效率的抓回数据，更不用说在本地分析这些数据的速度有多快了。不过，不管是蜘蛛抓取，还是本地分析，都有一个更为强大的错误处理机制。心爱用php搞的蜘蛛的错误处理机制就很幼稚。就一个简单的判断页面编码的函数，然后统一为gb2312编码，然后按title，meta，body存入数据库。连http头都没有去模拟，所以导致很多页面无法抓取。
　　
　　
　　http://www.120gc.cn/编辑

看着都头晕   还能看下去吗

这个分享太实用了，刚好能用到，感谢楼主！

刚好遇到类似问题，看完这个帖子心里有底了

说得很实在，没有夸大其词，这种真实分享太难得了

楼主太厉害了，整理得这么详细，必须支持

这个思路很新颖，打开了新世界的大门，谢谢分享

楼主辛苦了，整理这么多内容，必须点赞收藏

分析得很透彻，很多细节都说到点子上了～