预处理技术包括：网页分析和倒排索引" u4 ]& h" m- @1 f
6 a1 t+ M7 k2 J" y2 X# `
网页分析：# F4 X& j! R& b8 }2 p
关键词的提取：4 g! j0 F3 p+ `/ _* o% W$ ^
去处html 广告 导航 版权 停用词* }% N4 n9 m% ?0 C1 g
然后用切词软件利用字典 切出 p={c1,c2,c3.....} 一般c的有效数为200左右
0 q, ~) d Z4 r) Z! W# k' h2 j" N; v4 L7 r- n9 B& ]
重复和转载文章的消除：
. U$ E: q) M; V% k去噪和消重; J @0 m! ~6 f
DocView模型; M+ X! C) ?* \& F" D. y3 M
网页标识、网页类型、内容类别、标题、关键词、摘要、正文、相关链接等要素0 m; `3 i/ j+ C; z& U5 C2 `
* Y8 u$ N( P3 ^8 h8 M网页重要程度的计算：
3 V! I1 o; t/ e" w" e4 _被引用的次数，最直观的表现为超链接9 t( x1 c& \% O/ x2 j
网页的入度大
9 K y" s: q A2 ~3 u t网页父网页入度大
3 Z8 I2 r7 c) U! J, b% S网页镜像度高
) A( o- W3 B3 c& V3 W/ f- |0 `; d网页目录深度小
, j7 y8 B& K9 ]. I$ H! \5 o+ o& l6 f
. ~9 \7 T* s8 K; c+ P首先形成 网页对应特征相的正排索引，然后再形成 特征词对应网页的倒序索引。
: o+ u9 p2 N! V' X
4 R9 n% Y. f0 B1 Z/ b9 i, e# g' o/ p) l1 X& J4 Q# J2 _( J
|
