分词之正向最大匹配法

分词之正向最大匹配法"/>

分词之正向最大匹配法

完整资料和代码获取地址github:zlhcsm

知识普及-正向最大匹配法：
对于输入的一段文本从左至右、以贪心的方式切分出当前位置上长度最大的词。
正向最大匹配算法是基于词典的分词方法，其分词原理是：单词的颗粒度越大，所能表示的含义越确切。

步骤

1，一般从一个字符串的开始位置，选择一个最大长度的词长的片段，如果序列不足最大词长，则选择全部序列。
2，首先看该片段是否在词典中，如果是，则算为一个分出来的词，如果不是，则从右边开始，减少一个字符，然后看短一点的这个片段是否在词典中，一次循环，直到只剩下一个字。
3，序列变为第2步骤截取分词后，剩下的部分序列

核心代码

1.读取字典文件

def init():"""读取字典文件载入词典:return:"""with open("../dic/dict.txt", "r"