关于中文分词

Sabey · 发表于 2013-01-15 11:29:38

本帖最后由 Sabey 于 2013-1-15 11:30 编辑

一、什么是中文分词。中文分词指的是将一个汉语句子切分成一个一个单独的词，按照一定的规则重新组合成词序列的过程。这个也称做“中文切词”。
二、搜索引擎分词方法。（由祛痘三剑客提供）
（一）、基于字典匹配的分词方法。
1、正向最大匹配法（由左到右的方向）。例：“不知道你在说什么”这句话采用正向最大匹配法是这样分的。“不知道，你，在，说什么”。
2、逆向最大匹配法（由右到左的方向）。例：不知道你在说什么”。反向最大匹配法来分这段是这样分的。“不，知道，你在，说，什么”。
3、最少切分法（最短路径最大匹配法）（使每一句中切出的词数最小）。例：“不知道你在说什么”。最少切分法来分这段是这样分的。“不知道，你在，说什么”。
4、双向最大匹配法（进行由左到右、由右到左两次扫描）。就是正向最大匹配法与逆向最大匹配法的结合。
（二）、基于理解匹配的分词方法。
这种分词方法主要是通过机器模拟人的句法的理解，对其语义进行判断，以达到对句子的理解。其原理就是在分词的同时，进行句法、语义分析，通过句法信息和语法信息进行处理。其主要还是通过分词系统，句法系统对其歧义进行处理，然后总控出句子的意思。这种只是一个理论，并还没有真正的实施。
（三）、基于统计匹配的分词方法。
通过计算词语相邻出现的概率来确定是否是一个单独的词语。所以，掌握的上下文越多，对句子的理解就越准确，分词也越精确。举个例子说，“搜索引擎优化”，在字典中匹配出来可能是：搜索/引擎/优化、搜/索引/擎/优化，但经过后期的概率计算，发现“搜索引擎优化”在上下文相邻出现的次数非常多，那么基于统计就会将这个词语也加入进分词索引库。

00000 · 发表于 2026-09-09 09:55:19

蹲了这么久，终于看到有价值的讨论，支持一下！

		自动登录	找回密码
密码			加入怎通

[关于百度] 关于中文分词