关于百度搜索引擎技术的一点笔记

预处理技术包括：网页分析和倒排索引

) w! F* |6 D- O% R/ s! ^网页分析：
: B+ a# B/ d$ `1 @关键词的提取：
0 ~+ L$ I$ B5 i/ Y4 O去处html   广告 导航 版权 停用词
! h( J2 M& I& g然后用切词软件利用字典  切出 p={c1,c2,c3.....} 一般c的有效数为200左右

重复和转载文章的消除：
去噪和消重
DocView模型
网页标识、网页类型、内容类别、标题、关键词、摘要、正文、相关链接等要素
6 u9 M8 q2 z$ L: ]
网页重要程度的计算：
% H! w: s: |8 n+ b被引用的次数，最直观的表现为超链接
网页的入度大
# j! n9 y8 @: I网页父网页入度大
网页镜像度高
/ B$ d7 O, X0 M3 x/ F- {4 X网页目录深度小

6 A) [5 v3 K+ V. g* L( p首先形成 网页对应特征相的正排索引，然后再形成 特征词对应网页的倒序索引。
4 R( b$ B' p& h( q
; n  p. Q3 @. [; P
: F4 w* q0 T' Y! g' p) E9 s

这个分享太实用了，刚好能用到，感谢楼主！

这个思路很新颖，打开了新世界的大门，谢谢分享

楼主太厉害了，整理得这么详细，必须支持