词干、词形与MaxMatch算法"/>
Python自然语言处理:词干、词形与MaxMatch算法
自然语言处理中一个很重要的操作就是所谓的stemming 和 lemmatization,二者非常类似。它们是词形规范化的两类重要方式,都能够达到有效归并词形的目的,二者既有联系也有区别。
1、词干提取(stemming)
定义:Stemming is the process for reducing inflected (or sometimes derived) words to their stem, base or root form—generally a written word form.
解释一下,Stemming 是抽取词的词干或词根形式(不一定能够表达完整语义)。
NLTK中提供了三种最常用的词干提取器接口,即 Porter stemmer, Lancaster Stemmer 和 Snowball Stemmer。
Porter Ste
更多推荐
Python自然语言处理:词干、词形与MaxMatch算法
发布评论