分词器"/>
NLP中常用的分词器
众所周知，NLP即自然语言处理，那么在NLP中常用的分词器都有哪些呢？本文主要介绍NLP中常用的分词器。
一、Mmseg4j：基于正向最大匹配（/）
mmseg4j用Chih-HaoTsai的MMSeg算法实现的中文分词器，并实现lucene的analyzer和solr的TokenizerFactory以方便在Lucene和Solr中使用。MMSeg算法有两种分词方法：Simple和Complex，都是基于正向最大匹配。Complex加了四个规则过虑。官方说：词语的正确识别率达到了98.41%。mmseg4j已经实现了这两种分词算法。二、结巴分词：（/）
结巴分词支持三种分词模式：1.精确模式，试图将句子最精确的切开，适合文本分析；2.全模式，把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解释歧义；3.搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
三、Ansj：（）
基于n-Gram+CRF+HMM的中文分词，支持ES比较好。
四、IKAnalyzer：（/）
IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。正向迭代最细粒度切分算法，支持ES比较好。
更多推荐
NLP中常用的分词器
发布评论