中文搜索引擎技术揭密：中文分词-搜索引擎技术

好有钱 · 发表于 2013-06-01 16:37:40

　　信息的飞速增长，使搜索引擎成为人们查找信息的首选工具，Google、百度、中国搜索等大型搜索引擎一直是人们讨论的话题。随着搜索市场价值的不断增加，越来越多的公司开发出自己的搜索引擎，阿里巴巴的商机搜索、8848的购物搜索等也陆续面世，自然，搜索引擎技术也成为技术人员关注的热点。
　　搜索引擎技术的研究，国外比中国要早近十年，从最早的Archie，到后来的Excite，以及altvista、overture、google等搜索引擎面世，搜索引擎发展至今，已经有十几年的历史，而国内开始研究搜索引擎是在上世纪末本世纪初。在许多领域，都是国外的产品和技术一统天下，特别是当某种技术在国外研究多年而国内才开始的情况下。例如操作系统、字处理软件、浏览器等等，但搜索引擎却是个例外。虽然在国外搜索引擎技术早就开始研究，但在国内还是陆续涌现出优秀的搜索引擎，像百度，中搜等。目前在中文搜索引擎领域，国内的搜索引擎已经和国外的搜索引擎效果上相差不远。之所以能形成这样的局面，有一个重要的原因就在于中文和英文两种语言自身的书写方式不同，这其中对于计算机涉及的技术就是中文分词。
　　什么是中文分词
　　众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。例如，英文句子I am a student，用中文则为：“我是一个学生”。计算机可以很简单通过空格知道student是一个单词，但是不能很容易明白“学”、“生”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切词。我是一个学生，分词的结果是：我是一个学生。编辑明升娱乐城:http://www.xmf5.com

A5喵喵 · 发表于 2026-03-07 04:33:25

这个分享太实用了，刚好能用到，感谢楼主！

九尾喵 · 发表于 2026-06-25 10:27:20

说得很实在，没有夸大其词，这种真实分享太难得了

亲亲and米苏 · 发表于 2026-06-28 13:03:04

完全赞同，我也是这么认为的，英雄所见略同～

huangchaozhan · 发表于 2026-09-07 16:02:48

这个思路很新颖，打开了新世界的大门，谢谢分享

		自动登录	找回密码
密码			加入怎通

[站长八卦] 中文搜索引擎技术揭密：中文分词-搜索引擎技术