一．前言
$ G0 `5 W" w9 E! {传统的搜索引擎的定义，是指一种对于指定的查询（Query），能够返回与之相关的文档集合（Documents）的系统。而百度将这个定义更加丰富化，即搜索引擎能够帮助人们更方便的找到所求。这里的.所求.，比.文档.更加宽泛和丰富，比如一个关于天气的查询，直接返回一个天气预报的窗口，而非一篇关于天气的文档；再如一个关于小游戏的查询，直接返回这个小游戏的Flash页面而非简单的介绍性的文字。. r4 @& i6 n8 O: ~6 j
百度对Query深刻的理解，源于自然语言处理技术在其中发挥的巨大作用。对搜索引擎而言，文本切分是最基础也是最重要的自然语言问题之一。今天，我们就来谈谈文本切分粒度与搜索引擎的关系。
7 S. ~/ A! f% X3 a本文后续章节组织如下：第二节介绍什么是文本的粒度，第三节讲述搜索引擎的基本原理与文本切分粒度的关系，第四节深入探讨粒度的属性与检索相关性计算，第五节小结。7 L9 {. j5 e1 f: G$ z0 l% z
二．文本粒度
! U5 w1 Z% m( c2 O% T什么是文本的粒度？我们用什么来衡量文本粒度？在回答这些问题前，让我们先看看以下几组词汇：. S, d# r& b$ m5 |% n
缠绵、崎岖、葡萄、乒乓. P" j7 h' V9 p1 o( _; I4 X
绿茶、篮球、红色、鼠标垫、起重机5 m) p; }3 D! s5 k C. J
打球、跳绳、炒菜、登山+ V/ R/ q3 Q3 B1 c+ i" S) c
笔记本电脑、高清机顶盒、IP电视
4 q2 e# e9 u* E& X4 Z9 |3 R& B但是、然后、如果、非常' m$ t* r( V: R7 U3 v8 b! {
步步惊心、家的n次方、一个人的精彩; B) l( N! a2 @; K B5 u- t; v
百度在线网络技术（北京）有限公司、清华大学
% b6 }' b) v, N: a4 Z/ p: A张学友、赵传、工藤新一、里奥内尔.安德雷斯.梅西3 E3 {1 ? I0 V+ k# V
..- {% k# q1 L8 i2 `% }4 ]
这几组词汇中，哪些的粒度大，哪些的粒度小？
; u$ ^* j5 X1 }3 F不管在传统的语言学领域，还是在自然语言处理领域，都没有对粒度下一个清晰准确的定义。但是就搜索引擎而言，我们不妨这样定义：粒度是衡量文本所含信息量的大小。文本含信息量多，粒度就大，反之就小。有了这个原则，我们就很容易判断文本粒度大小了。像.缠绵.，.崎岖.，.葡萄.这些词，虽然有两个字组成，但是仅表达一个意思，这些词的粒度是小的。而.篮球.，.鼠标垫.等词，是由简单词合成的，虽然也只有一个意思，但还可以拆分，如.篮.和.球.，.鼠标.和.垫.。这类词，粒度稍微大一些。而.笔记本电脑.，.高清机顶盒.这样的词，粒度就更大了。
- k. j: L2 `, }7 y专名是一类比较特殊的词，尽管所含字数很多，但其实只表达一个意思，如.步步惊心.，.家的n次方.这样的电影、电视剧的名称，粒度是很小的。机构名、人名等属于有内部结构的专名，比电影名的粒度稍大一些。4 ?- I8 _4 L* p, x# i
显然易见，我们在讨论文本粒度时，理想的方式是从语义角度出发，合理的分析和判断。然而以上我们仅对粒度做了定性的分析，为粒度找一个合适的度量单位和计算方法，是百度人一直追求的目标。
& ]. \) M: U. A0 C( r, r" a4 R2012最新电影www.hiwiwi.com最新恐怖电影
O" ]+ c0 l+ Y& R0 j" b* gwww.hiwiwi.com你懂的快播电影7 |' ]+ o0 Y( x& v, Z
www.yxyys.com百度影音电影: }4 h- s. c0 b" V% w1 z+ K
|
