分词函数库"/>
jieba—第三方中文分词函数库
jieba是Python中一个重要的第三方中文分词函数库,能够将一段中文文本分割成中文词语的序列。
jieba安装命令,在cmd中输入pip install jieba。
实现中文分词只需要一行代码即可。
例:
import jieba
jieba.lcut("全国计算机等级考试")
jieba共有三种模式:
1,精确模式:将句子最精确地切开,适合文本分析;
2,全模式:把句子中所有可以成词的词语都扫描出来,速度非常快,但是不能解决歧义;
3,搜索引擎模式:在精确模式基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词;
函数 | 描述 |
---|---|
jieba.lcut(s) | 精确模式,返回一个列表类型 |
jieba.lcut(s,cut_all=True) | 全模式,返回一个列表类型 |
jieba.lcut_for_search(s) | 搜索引擎模式,返回一个列表类型 |
jieba.add_word(w) | 像分词词典中添加新词w |
1,jieba.lcut(s)是最常用的中文分词函数,用于精确模式,即将字符串分割成等量的中文词组,返回结果是列表类型。
2,jieba.lcut(s,cut_all=True)用于全模式,即将字符串的所有分词可能均列出来,返回结果是列表类型,冗余性最大。
3,jieba.lcut_for_search(s)返回搜索引擎模式,该模式首先执行精确模式,然后再对其中长词进一步切分获得最终结果。
4,jieba.add_word()函数,用来向jieba词库增加新的单词。
更多推荐
jieba—第三方中文分词函数库
发布评论