什么是百度中文分词
百度中文分词:其实不仅仅百度,谷歌也需要分词的,但是谷歌分词原理要比百度要简单一些,因为谷歌英文天生就是以英文单词为单位,而且词与词之间是有间隔的,所以百度中文分词技术要比谷歌分词技术要强大的多,那么我就简单的介绍一下百度中文分词的实现原理:
一、基于字符串分词:
1)正向最大匹配法(由左到右的方向);
2)逆向最大匹配法(由右到左的方向);
3)最少切分(使每一句中切出的词数最小);
4)双向最大匹配法(进行由左到右、由右到左两次扫描)
二、基于理解分词:
这种分词方法是通过让计算机模拟人对句子的理解,达到识别词的效果。不过目前这种方法还在试验阶段还不够成熟。
三、基于统计分词:
相邻的字同时出现的次数越多,就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映成词的可信度。编辑威尼斯人娱乐城:http://www.rtiyi.com
说得很实在,没有夸大其词,这种真实分享太难得了 学习到了,之前一直没注意过这个点,受教了
页:
[1]