好有钱 发表于 2013-06-19 17:13:36

什么是百度中文分词

  百度中文分词:其实不仅仅百度,谷歌也需要分词的,但是谷歌分词原理要比百度要简单一些,因为谷歌英文天生就是以英文单词为单位,而且词与词之间是有间隔的,所以百
  度中文分词技术要比谷歌分词技术要强大的多,那么我就简单的介绍一下百度中文分词的实现原理:
  一、基于字符串分词:
  1)正向最大匹配法(由左到右的方向);
  2)逆向最大匹配法(由右到左的方向);
  3)最少切分(使每一句中切出的词数最小);
  4)双向最大匹配法(进行由左到右、由右到左两次扫描)
  二、基于理解分词:
  这种分词方法是通过让计算机模拟人对句子的理解,达到识别词的效果。不过目前这种方法还在试验阶段还不够成熟。
  三、基于统计分词:
  相邻的字同时出现的次数越多,就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映成词的可信度。编辑威尼斯人娱乐城:http://www.rtiyi.com

微博评论 发表于 2026-10-12 16:09:10

说得很实在,没有夸大其词,这种真实分享太难得了

____ヽ对不起~~ 发表于 2026-10-21 21:06:15

学习到了,之前一直没注意过这个点,受教了
页: [1]
查看完整版本: 什么是百度中文分词