目前主流的搜索引擎按照其功能大致可以分为可划分为下载、分析、索引、查询4大系统.其中分析系统在搜索引擎的架构中主要承担了网页结构化、网页消重、文本分词及网页重要性的计算(例如谷歌的PR)这四项基本任务.可以说,搜索引擎的分析系统在网站排名等方面起着决定性的作用,通过分析搜索引擎的分析系统,可以更好的指导我们进行网站的优化工作,在这里,笔者根据自己的一些见解, 首先,笔者对搜索引擎的分析系统的工作步骤做了简单的介绍:
% ^( ~8 w- m, y% \" e. e: H. p
" f9 W! t& \) b5 O! j9 e4 y1 u+ F 第一.读取Page库中下载系统通过爬虫下载到的原始网页.2 }8 t0 j; a: `) ?7 J
6 \, e @: H1 ?. O; A
第二.通过建立标签树并从网页中抽取有价值的属性,完成从原始网页打包成一个网页对象的过程,即网页结构化的过程.
! M' o+ k( q/ j" N; w0 \' \$ c7 Y, X0 V* O
第三.丢弃冗余的页面,仅保留一个相似或相同的网页传给分词模块,实现网页消重.& P5 }/ B1 s, X$ R- \* A; S' y
) x7 J+ J5 b( N } 第四.文本分词模块将网页的正文切分成以词汇为单位的集合.
% O2 c+ ?7 Z9 r! Z! k1 i8 Q2 F
第五.最后将分析的结果发往索引模块,进行索引入库./ o; ?& B6 X- W5 o, r4 D
1 H5 @! w9 d$ [$ u4 ?9 k+ `
了解到了搜索引擎的分析系统的工作流程,那么,笔者认为,我们应该针对搜索引擎的分析系统做好以下的优化工作.
- N+ \- f* k8 w, S. w( q
3 A+ P I$ c0 e8 u' _2 j 1.从分析系统的第一步和第二部过程,告诉我们要明确需要保留的信息) @3 \! E2 x+ V7 A/ Y
5 X6 k. x- K/ L! R# T" o: P 网页是有HTML语言编写而成是一个半结构化的对象,要将其中有价值的信息,例如标题和正文保留下来,而将无用的信息丢弃,例如HTML标签,主要是通过网页结构化,一般来说,TITLE标签,MEAT标签,H标签是搜索引擎认为最重要的网页信息.比如,针对TITLE标签,在搜索引擎蜘蛛爬行的过程中,< TITLE >与< /TITLE >之间的内容往往是蜘蛛们第一个获取到网页的文字内容.除此之外,锚文本,网页正文都是有价值的信息,要加以保留和重视.
[1 \4 p0 M& E0 O8 L; b+ {) |* [. `( P3 {; z; L& i. r
2.从分析系统的第三步来看,告诉我们要重视网页的内容建设9 r* C# H2 {. M5 T3 W
9 u. S. [/ z' I) r/ m i7 p2 \! `
网络中的网页数以亿计,对海量网页进行存储和处理是一项艰巨的任务,而且这些网页中又包含很多相同或者类似的页面.所以搜索引擎的分析系统在正式对网页进行分析之前首先要做的工作就是网页消重.搜索引擎中把这4种页面看做是相同或相似的,两个网页的内容和格式上完全相同、两个网页的内容完全相同,但格式不同、两个网页有部分重要的内容相同并且格式相同、两个网页有部分重要的内容相同,但格式不同.从搜索引擎的分析系统看网站优化,可见网页内容的独特性很重要,所以做好原创是有意义的.' W# y, u6 X3 B1 W' b1 @0 y
0 _8 i+ ]6 G- z- J x: Y6 {; x2 o) P 3.从网页重要性的计算,也就是分析系统的第四五部来看,做好网页的权重是很有意义的+ t7 G5 E" Y+ r! o9 r' Q
3 L4 \/ k8 I# s2 ] 在这里,拿谷歌的PR值举例,它是Google用来标识网页的等级/重要性.百度也有类似的系统,所以我们应该根据它们的算法,做好提高网页重要性的工作,比如导入高质量的链接,写一些高质量的软文带上网页链接并发布到大型网站,比如提供有价值的网页内容,这些都可以提高网页的权重,具体的做法,站长朋友都知道,这里不再详述.
0 @& F( |6 f y p& q |
