找回密码
 加入怎通
查看: 331|回复: 2

[站长八卦] 什么是百度中文分词

[复制链接]
好有钱 发表于 2013-06-19 17:13:36 | 显示全部楼层 |阅读模式
  百度中文分词:其实不仅仅百度,谷歌也需要分词的,但是谷歌分词原理要比百度要简单一些,因为谷歌英文天生就是以英文单词为单位,而且词与词之间是有间隔的,所以百
; J: T% D1 x: I- M! S7 ?  度中文分词技术要比谷歌分词技术要强大的多,那么我就简单的介绍一下百度中文分词的实现原理:
# \/ K# K5 p- b6 K5 b  一、基于字符串分词:) [8 F  t- X/ B0 V2 j7 @
  1)正向最大匹配法(由左到右的方向);
; \1 U! B8 \% z5 u! E, p  2)逆向最大匹配法(由右到左的方向);
0 v, q' G( G7 X3 K7 Z0 r  3)最少切分(使每一句中切出的词数最小);8 w" ]% N2 G5 l
  4)双向最大匹配法(进行由左到右、由右到左两次扫描)
" y+ E" L% N7 J$ B  二、基于理解分词:; U) y# W+ i; g( A
  这种分词方法是通过让计算机模拟人对句子的理解,达到识别词的效果。不过目前这种方法还在试验阶段还不够成熟。
- T1 u) j8 N6 ^1 `* s  三、基于统计分词:
4 f8 p0 t' |% W  相邻的字同时出现的次数越多,就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好的反映成词的可信度。编辑威尼斯人娱乐城:http://www.rtiyi.com9 \- R* q" X/ _# e

暂时无法加载帖子列表

回复

使用道具 举报

微博评论 发表于 2026-10-12 16:09:10 | 显示全部楼层
说得很实在,没有夸大其词,这种真实分享太难得了
回复

使用道具 举报

____ヽ对不起~~ 发表于 2026-10-21 21:06:15 | 显示全部楼层
学习到了,之前一直没注意过这个点,受教了
回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 加入怎通

    本版积分规则

    QQ|手机版|小黑屋|网站地图|真牛社区 ( 苏ICP备2023040716号-2 )

    GMT+8, 2026-10-30 17:22 , Processed in 0.055511 second(s), 52 queries , Gzip On.

    免责声明:本站信息来自互联网,本站不对其内容真实性负责,如有侵权等情况请联系420897364#qq.com(把#换成@)删除。

    Powered by Discuz! X3.5

    快速回复 返回顶部 返回列表