搜索引擎抓取内容之后会收录至数据库中，当用户进行检索搜索引擎会将收录的内容呈现给用户，为了快速的将内容呈现给用户，搜索引擎需要对已经抓取到的内容进行处理，只留下重点信息，这样能够在用户发起检索的时候快速的将所需内容呈现出来。 . J. p. S' t$ W8 j' A
0 D+ D: i& O. g$ W' ]3 H
% ] I5 M, i+ d# f( L那么搜索引擎对蜘蛛抓取回来的页面进行处理主要有4个步骤。 ( K: L t; M2 }7 P第一：判断该页面的页面类型6 ?7 f1 A( w `8 l
判断页面是正常的普通网页还是PDF等特殊文件文档。普通网页会区分是论坛、普通文章还是视频等内容，方便后期更快的呈献给用户. G' `; Q _6 L' ^; Y2 M
第二：提取网页的文本信息8 f. X8 L/ _* I% d9 Z$ f
站长们都知道搜索引擎无法识别JavaScript、Flash、图片、视频等内容，虽然一直在努力的识别这些信息，但是更多的还是依靠提取网页TDK来进行识别，虽然keyword标签已经被主流搜索引擎抛弃，但是还是会有一定的参考借鉴的。' \% t4 e+ v1 g) ]" F
# a' O9 L. e& H; F$ ?. `/ e
% e8 h! P* g7 P0 o% j5 S6 \
第三：去除页面噪音" A* m: s3 {. E& I/ i6 B6 _7 v
前面有两三篇文章，提到页面信噪比的问题，信噪比就是页面主题内容与干扰信息的比例，搜索引擎会去掉与该页面无关的广告、导航、链接等各类信息，提取网页的主体内容。 相关搜搜的在一定程度上也会被算作本页的内容，所以更好的利用想过搜索不但可以提高页面质量，还可以增加与用户搜索的匹配程度。 # q* \ B& p2 B( P d9 Q( [
