gensim Dictionary 去除某个词 gensim.corpora.dictionary.Dictionary

编程入门 行业动态 更新时间:2024-10-26 16:30:24

gensim <a href=https://www.elefans.com/category/jswz/34/1769667.html style=Dictionary 去除某个词 gensim.corpora.dictionary.Dictionary"/>

gensim Dictionary 去除某个词 gensim.corpora.dictionary.Dictionary

背景问题:
lda数据处理过程中,分词后的list需要去除停用词list,不想用set,这样会损失词反复出现的次数,也不想用循环,效率太慢。发现如果dictionary没有停用词,就不会对停用词做记录… …

dictionary = corpora.Dictionary(title['去除停用词'].to_list())  # 给每个词一个编号
dictionary.doc2bow(title['分词'])

换个思路,不要添加某个词。

用去除停用词后的词来预测,然后用刚分词的list来 dictionary.doc2bow

更多推荐

gensim Dictionary 去除某个词 gensim.corpora.dictionary.Dictionary

本文发布于:2023-06-13 04:31:47,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/674159.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:Dictionary   gensim   dictionary   corpora

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!