一．前言4 G" W" T' G- ~' `" m1 L* G- L( q
传统的搜索引擎的定义，是指一种对于指定的查询（Query），能够返回与之相关的文档集合（Documents）的系统。而百度将这个定义更加丰富化，即搜索引擎能够帮助人们更方便的找到所求。这里的.所求.，比.文档.更加宽泛和丰富，比如一个关于天气的查询，直接返回一个天气预报的窗口，而非一篇关于天气的文档；再如一个关于小游戏的查询，直接返回这个小游戏的Flash页面而非简单的介绍性的文字。
: z( R8 ^# s! @# R; D百度对Query深刻的理解，源于自然语言处理技术在其中发挥的巨大作用。对搜索引擎而言，文本切分是最基础也是最重要的自然语言问题之一。今天，我们就来谈谈文本切分粒度与搜索引擎的关系。# q: ?* S. Z6 R, b
本文后续章节组织如下：第二节介绍什么是文本的粒度，第三节讲述搜索引擎的基本原理与文本切分粒度的关系，第四节深入探讨粒度的属性与检索相关性计算，第五节小结。( B# l& l) f" q$ U* t6 z2 H
二．文本粒度
) [ t, a7 g9 ?8 @1 _0 U" W什么是文本的粒度？我们用什么来衡量文本粒度？在回答这些问题前，让我们先看看以下几组词汇：
3 I+ S" x! R6 r; ]( w9 t缠绵、崎岖、葡萄、乒乓5 P8 u6 b" O; v% y, t# W
绿茶、篮球、红色、鼠标垫、起重机; L. p. D; @" b0 y
打球、跳绳、炒菜、登山/ E$ z, T1 }0 \. ^: n5 {
笔记本电脑、高清机顶盒、IP电视
' f/ }7 ]) o5 }7 A) X但是、然后、如果、非常
6 R! ~0 G7 {# ?0 V' Y O步步惊心、家的n次方、一个人的精彩
$ Y( L3 a3 j3 y8 g百度在线网络技术（北京）有限公司、清华大学6 ~4 g5 e. e) G7 `7 n3 m n3 ~
张学友、赵传、工藤新一、里奥内尔.安德雷斯.梅西
* _) o/ `: d% q) u..
& @# Z) a0 J( I1 P, M8 i这几组词汇中，哪些的粒度大，哪些的粒度小？
" {) Z2 I$ r. u0 f不管在传统的语言学领域，还是在自然语言处理领域，都没有对粒度下一个清晰准确的定义。但是就搜索引擎而言，我们不妨这样定义：粒度是衡量文本所含信息量的大小。文本含信息量多，粒度就大，反之就小。有了这个原则，我们就很容易判断文本粒度大小了。像.缠绵.，.崎岖.，.葡萄.这些词，虽然有两个字组成，但是仅表达一个意思，这些词的粒度是小的。而.篮球.，.鼠标垫.等词，是由简单词合成的，虽然也只有一个意思，但还可以拆分，如.篮.和.球.，.鼠标.和.垫.。这类词，粒度稍微大一些。而.笔记本电脑.，.高清机顶盒.这样的词，粒度就更大了。
# Q& c- [4 f) S' U: r专名是一类比较特殊的词，尽管所含字数很多，但其实只表达一个意思，如.步步惊心.，.家的n次方.这样的电影、电视剧的名称，粒度是很小的。机构名、人名等属于有内部结构的专名，比电影名的粒度稍大一些。$ |+ g7 o1 e- x' W1 U; f6 K. g
显然易见，我们在讨论文本粒度时，理想的方式是从语义角度出发，合理的分析和判断。然而以上我们仅对粒度做了定性的分析，为粒度找一个合适的度量单位和计算方法，是百度人一直追求的目标。5 i, i! J$ f$ r2 M* o
2012最新电影www.hiwiwi.com最新恐怖电影
|8 B& Z3 B P7 P$ M) m* [: @www.hiwiwi.com你懂的快播电影
5 Y3 u% @. ?/ a9 E& M* m; n) qwww.yxyys.com百度影音电影2 w/ P+ r u: `3 l0 U
|
