关于中文分词

一、什么是中文分词。中文分词指的是将一个汉语句子切分成一个一个单独的词，按照一定的规则重新组合成词序列的过程。这个也称做“中文切词”。
二、搜索引擎分词方法。（由祛痘三剑客提供）
" w, `2 N. B( L6 ^（一）、基于字典匹配的分词方法。
- X( u; _7 W8 ?4 @1、正向最大匹配法（由左到右的方向）。例：“不知道你在说什么”这句话采用正向最大匹配法是这样分的。“不知道，你，在，说什么”。
0 @! G: T6 }8 [7 Z2、逆向最大匹配法（由右到左的方向）。例：不知道你在说什么”。反向最大匹配法来分这段是这样分的。“不，知道，你在，说，什么”。
3、最少切分法（最短路径最大匹配法）（使每一句中切出的词数最小）。例：“不知道你在说什么”。最少切分法来分这段是这样分的。“不知道，你在，说什么”。
. m6 n0 {- y1 Q4、双向最大匹配法（进行由左到右、由右到左两次扫描）。就是正向最大匹配法与逆向最大匹配法的结合。
（二）、基于理解匹配的分词方法。
% v) y5 _% A0 U这种分词方法主要是通过机器模拟人的句法的理解，对其语义进行判断，以达到对句子的理解。其原理就是在分词的同时，进行句法、语义分析，通过句法信息和语法信息进行处理。其主要还是通过分词系统，句法系统对其歧义进行处理，然后总控出句子的意思。这种只是一个理论，并还没有真正的实施。
（三）、基于统计匹配的分词方法。
, S  u) M4 m0 B通过计算词语相邻出现的概率来确定是否是一个单独的词语。所以，掌握的上下文越多，对句子的理解就越准确，分词也越精确。举个例子说，“搜索引擎优化”，在字典中匹配出来可能是：搜索/引擎/优化、搜/索引/擎/优化，但经过后期的概率计算，发现“搜索引擎优化”在上下文相邻出现的次数非常多，那么基于统计就会将这个词语也加入进分词索引库。
; @/ A2 x2 ]- |5 n' g

蹲了这么久，终于看到有价值的讨论，支持一下！

学习到了，之前一直没注意过这个点，受教了

说得很实在，没有夸大其词，这种真实分享太难得了

内容很干货，没有多余的废话，值得反复看

楼主太厉害了，整理得这么详细，必须支持